TabPFN表格先验数据拟合网络

TabPFN 是一种面向表格数据的监督式预测模型，名称来自 Tabular Prior-data Fitted Network。它把有标签的训练行与待预测行作为同一任务上下文输入，利用预训练 Transformer 对目标列作分类或回归预测。其关键设计是先从合成数据先验中学习一种预测算法，再把真实小数据集作为上下文交给模型；这与为每个新数据集从头训练一套参数的常规流程不同。

本文把 ICLR 2023 的原始模型称为 v1，把 Nature 2025 论文中的模型称为 v2。两篇论文所指的检查点、支持任务和评测边界并不相同。TabPFN 不是一个对所有表格任务都保证胜出的通用 AutoML 系统，论文中的比较也不能直接当作当前所有版本的性能承诺。

PFN（Prior-data Fitted Network，先验数据拟合网络）的“先验数据”不是用户上传的数据。研发阶段先定义一个可采样的生成过程，反复生成合成表格，再遮住一部分目标值，让网络根据其余已知行恢复被遮住的值。模型通过这类任务学习如何利用表格结构和标签作预测。训练完成后，对新任务通常不再以该真实数据集进行梯度更新。

从贝叶斯角度看，PFN 被训练成近似其合成先验所定义的后验预测分布：面对一个新的输入行，它结合先验中的各种生成机制及真实训练行，估计目标值可能落在哪些类别或数值范围。这里的“近似”很重要。模型近似的是特定人工先验下的预测，不等于它掌握了所有现实数据生成规律，也不意味着任一真实问题都符合该先验。

原始 v1 的合成任务先验混合了贝叶斯神经网络与结构因果模型生成器，并让结构较简单的机制更常出现。v2 的论文进一步描述了基于结构因果模型的表格生成流程：随机抽取图结构和数据集性质，再用线性或非线性函数、离散化、局部树规则及噪声构造特征与目标；合成任务也覆盖缺失值等常见数据困难。这些图是生成合成训练数据的工具。TabPFN 据此作关联预测，不是在真实数据上识别因果图或推断干预效果。

原始 v1 把每行的特征向量与已知标签编码为 token，让训练样本之间通过注意力交换信息；待预测样本读取训练样本提供的上下文。作者将训练集视作集合，以减少对行顺序的依赖。用户更换数据集时，已知训练行就像提示样例一样放在上下文里，所以称为表格上的上下文学习（in-context learning）。它借用“示例中学习任务”的思想，但并非把文本提示词直接搬到电子表格。

v2 针对二维表格采用按单元格表示的两路注意力：一个单元格先与本行其他特征交互，再与该列其他样本交互。这让模型同时利用“同一行有哪些特征组合”与“同一特征在样本间如何变化”，并在架构上对样本和特征的排列顺序保持不变。模型因此可以读取异质列和行间关系；这只解释其信息处理方式，不代表注意力权重本身就是因果解释或可验证的业务解释。

分类时，预测结果是各类别的概率分布。v2 回归头也可输出目标值的概率分布，而不只给一个点估计；论文使用分段常数分布来表达可能的不确定性或多峰形状。概率输出仍需结合任务目标检查校准情况，不能仅凭模型给出的数值当成可靠置信度。

ICLR 2023 论文中的原始 TabPFN 只研究监督分类，不含 v2 论文后来讨论的回归任务。它在训练阶段学习一套固定 Transformer 权重；推理时，把新表格的有标签训练行与无标签查询行一起输入，通过一次前向计算产生类别概率，不对这个新表格再作梯度训练。原始研究以贝叶斯式预测为目标，并报告单次前向预测及多次数据排列结果的集成。

论文的主要 OpenML-CC18 比较集为 18 个数据集：训练样本不超过 1,000 行，特征不超过 100 列且为数值特征，数据无缺失值，类别最多 10 个。该主要分析将数据按不同随机种子做五次 50% 训练、50% 测试切分，并与树模型、基础分类器及 AutoML 系统比较。作者还在额外 67 个小型数值 OpenML 数据集上报告验证结果；这项补充不能与主测试集条件混为同一个更大样本基准。

因此，v1 的证据最直接支持的是论文所测试范围内的小型数值分类表格。论文指出，有类别型字段或缺失值时，原始模型整体上相对没那么强；个别数据集也会被基线方法胜过。把这组结果外推到回归、数万行数据、复杂混合字段或新检查点，都超出了这项 2023 评测能够证明的范围。

2025 年 Nature 论文描述的 TabPFN 模型把适用任务扩展到分类和回归，并改进对数值与类别混合字段、缺失值、无关特征和异常值的处理。论文称其预训练流程一次生成约一亿个合成表格任务。研究中的回归输出可以表示目标分布；这不等同于给出因果结论，也不省去数据清理、问题定义或领域判断。

v2 的主要定量测试集从 AutoML Benchmark 与 OpenML-CTR23 中筛选。分类部分是 AutoML Benchmark 的 29 个数据集，每个不超过 10,000 个样本、500 个特征和 10 个类别。回归部分由 AutoML Benchmark 中符合条件的 16 个数据集，加上 OpenML-CTR23 中符合条件的数据集，合计 28 个；行数上限为 10,000，特征上限为 500。该论文逐数据集进行 10 次随机 90/10 训练—测试切分；基线方法另以五折交叉验证随机搜索超参数，搜索预算从 30 秒到 4 小时不等。TabPFN 使用默认或论文设定的处理与集成配置，评测还为它提供消费级 GPU。

论文把跨数据集分数先逐数据集归一化，再作汇总。因此，例如其默认 TabPFN 的分类归一化 ROC AUC 汇总分为 0.939，默认 CatBoost 为 0.752；这些数值不是某一真实任务的绝对 AUC。回归比较也使用归一化后的负 RMSE。总体结果显示 v2 在论文基准上表现强，但逐数据集仍有基线胜出的情况。Nature 论文明确提醒，这些实验没有证明模型能在超过 10,000 个样本或 500 个特征时良好扩展。

“小样本”描述的是这些研究的训练任务规模，不是所有实际项目共享的自然规律。基准覆盖了经过筛选的公开表格与特定切分、指标和对照方法。不同领域的数据生成过程、时间漂移、类别不平衡、标签噪声、数据泄漏、代价敏感目标及缺失机制都可能改变结果。一次论文基准并不能代替在目标数据上留出独立验证集、检查切分方式、对照合适基线和确认概率校准。

实际使用时，应先确认所选模型版本支持目标任务和字段类型，再按目标数据本身设计验证。v1 的论文证据限于小型数值分类；v2 的研究证据覆盖到上述分类与回归基准边界。超过该边界时，不能把论文中“架构接受更大表格”或测试集里的相对排名，当作规模扩展已验证。训练与推理速度也应在目标硬件和完整数据流程中测量。

截至 2026 年 10 月 9 日，Prior Labs 官方模型文档已列出后续 TabPFN 家族版本及与 TabPFNv2 不同的功能和行列上限。本文只借该文档帮助辨认版本；前述数字和性能结果仍只属于原始 ICLR 2023 与 Nature 2025 论文所评估的模型及条件。使用当前模型时，应按对应版本的官方文档核对功能、限制与许可，不将旧版基准表现直接移植为新版结论。

Noah Hollmann, Samuel Müller, Katharina Eggensperger, Frank Hutter. “TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second.” Published as a conference paper at ICLR 2023; arXiv:2207.01848. https://arxiv.org/pdf/2207.01848

Noah Hollmann, Samuel Müller, Lennart Purucker, Arjun Krishnakumar, Max Körfer, Shi Bin Hoo, Robin Tibor Schirrmeister, et al. “Accurate predictions on small data with a tabular foundation model.” Nature 637, 319–326 (2025), published 2025-01-08. https://doi.org/10.1038/s41586-024-08328-6

Prior Labs. “Models.” Official model-family documentation, accessed 2026-10-09. https://docs.priorlabs.ai/models