打开网易新闻 查看更多图片

拿到一张没有标签的表格,能不能直接找出其中的群体,还知道模型对 “分几组” 有多大把握?TabClustPFN 尝试用预训练后的单次前向推断,缩短从数据到分组结果的距离。

给你一张客户表,你能看出里面有几种不同的消费人群吗?有人买得频繁,但每次花得不多;有人平时不来,一来就是大单。表格记录了这些行为,却没有告诉你:哪些人应该归为一组,一共又该分成几组。

让算法从没有标签的数据中寻找群体,就是 “聚类”。客户分析、商品分组、科研数据探索,都可能从这一步开始。

但实际做起来,往往没那么直接。先选算法,再定超参数;运行一遍,看着不合适,又换个设置重新来。你原本只想了解数据,却先要解决 “该怎么聚类”。

中国人民大学、罗格斯大学、新加坡国立大学和 MBZUAI 的研究团队提出了 TabClustPFN,希望让这件事变得更简单:让模型提前从大量任务中学会分组,面对新表格时,通过一次前向推断,预测样本归属与分组数量。

它不仅能自动估计 “分几类”,还会给出不同簇数的概率,让使用者看到模型对这个判断有多大把握。

这项研究已被 NeurIPS 2026 接收,由 Tianqi Zhao、Guanyang Wang、Yan Shuo Tan 和 Qiong Zhang 合作完成,其中中国人民大学的 Tianqi Zhao 为第一作者,MBZUAI 的 Qiong Zhang 为通讯作者。研究团队已提供代码与预训练权重入口。

打开网易新闻 查看更多图片

  • 论文标题:TabClustPFN: A Prior-data Fitted Network for Tabular Data Clustering
  • arXiv 地址:https://arxiv.org/abs/2601.21656
  • 代码与预训练权重入口:https://github.com/Tianqi-Zhao/TabClustPFN
  • Qiong Zhang 个人主页:https://sarahqiong.github.io/

每换一张表

都要重新 “算到收敛” 吗?

以常见的 K-means 为例,算法会先给出一组聚类中心,再交替做两件事:把样本分配给中心,依据分配结果更新中心。这个过程反复进行,直到满足停止条件。

如果事先不知道应该分几组,往往还得尝试不同的分组数量,再分别运行和比较。这样一来,不仅算法要在内部反复迭代,使用者也要在外部不断调参、尝试。

TabClustPFN 将一部分学习工作提前到了预训练阶段。模型先接触大量不同的合成表格,学习群体可能呈现怎样的形状、彼此怎样重叠,以及哪些分组方式更合理。

等到真正拿到一张新表格时,模型参数保持固定,数据经过网络的一次前向 (forward) 计算,就能得到预测,无需针对当前表格重新训练模型或进行迭代优化。

对使用者来说,操作也更简单了:输入新表格后,可以利用模型已经学到的分组经验直接获得结果。

直接推断

能兼顾速度与分组质量吗?

把计算放进预训练模型,只是第一步。更实际的问题是:得到结果够不够快,分出来的组有没有质量?

论文将聚类耗时与划分质量放在同一张图中比较。在测试设置下,TabClustPFN 的耗时与简单传统方法相当,比其他被比较的 PFN 方案更高效,同时保持了较强的聚类表现。

打开网易新闻 查看更多图片

图 1 聚类耗时与质量对比。横轴越靠左,运行时间越短;纵轴越靠下,ARI 排名中位数越好。红色标记为 TabClustPFN。来源:论文原图 1。

分析新表格时,使用者可以先快速获得一份有竞争力的划分,把更多注意力放到 “这些群体有什么特征、是否值得继续研究” 上。

这也让表格聚类更接近 “开箱即用”。减少每份新数据上的训练、选参与反复求解,让第一次探索更容易开始。

分成三组还是四组?

把犹豫也告诉你

速度解决了等待的问题,但聚类还有一个更根本的难点:面对陌生数据,人们可能连 “分几组” 都不知道。

已有聚类方法可以自动得到簇数,这项能力本身并不新鲜。TabClustPFN 进一步将簇数判断融入预训练模型,并输出一整组候选簇数的概率。

假设模型推荐分成三组。它可能明显倾向这个答案,也可能认为三组、四组都说得通。如果只看到 “3” 这个数字,使用者无法区分这两种情况。

概率分布让这个差别变得可见:模型是较为明确,还是仍在几个答案之间犹豫?

在当前模型支持的 2 到 10 类范围内,TabClustPFN 为每个候选簇数给出概率。论文展示的例子中,较容易区分的数据对应更集中的概率分布;结构更模糊时,预测概率也更分散。

打开网易新闻 查看更多图片

图 2 三个示例的簇数预测分布。左图明显倾向一个数量,后面的示例则在多个候选数量上分配概率。横轴为簇数,纵轴为预测概率。来源:论文原图 4 的概率分布子图。

对数据分析而言,这意味着可以进一步检查不同划分:多分出的一组,是否有独特特征?合并之后,会不会掩盖有意义的差异?模型对簇数的不确定性,为这些判断提供了额外线索。

团队还检验了概率输出是否过于自信。在 3,200 个未参与训练的高斯混合合成数据集上,按预测概率构造累计概率达到 95% 的候选簇数集合,真实簇数落在其中的比例为 96.8%。

这个结果衡量的是候选集合的覆盖率,并非单个簇数的预测准确率。它支持了该测试范围内的不确定性估计质量。

模型的 “分组经验”

从哪里来?

让模型提前学习聚类,会不会需要大量人工标注?TabClustPFN 的做法是生成训练任务。

研究者控制合成数据的生成过程,因此知道哪些样本原本属于同一组。通过改变群体大小、形状与重叠程度,模型可以接触许多不同难度的分组问题。

训练结合了高斯混合模型与 ZEUS 两类先验。前者提供可控的群体结构,后者通过非线性变换带来更复杂的数据形状,并涵盖数值与类别特征。先验在这里可以理解为对 “数据可能怎样生成” 的一组设定。

这种先在大量任务上学习、再对新任务直接推断的思路,来自先验数据拟合网络,也就是 PFN。

在模型内部,两个模块分工配合:划分推断网络 PIN 在不同候选簇数下预测样本归属;簇数推断网络 CIN 汇总这些划分的结构信息,判断各个簇数的可能性。

打开网易新闻 查看更多图片

图 3 TabClustPFN 的整体架构。PIN 生成候选划分,CIN 根据划分结构估计簇数概率。来源:论文原图 2。

训练还要处理聚类特有的问题:把两组叫作 A 和 B,或者把名字互换,只要成员没变,就是同一份划分。团队提出可微的 SoftARI 目标,让模型关注样本是否被正确分到一起,避免被组名的变化干扰。

预训练数据、模型结构与训练目标共同支持了这个流程:先学习跨任务的分组规律,再在新表格上直接推断划分与簇数。

44 个真实数据集

检验 “拿来就用” 的效果

在合成数据上学习的经验,能否迁移到真实表格?团队使用 44 个真实数据集进行评估,其中 22 个来自 OpenML,22 个来自 UCI。

以衡量划分质量的 ARI 为依据,在论文报告的排名中位数上,提供真实簇数的 TabClustPFN 版本位列第一;自动估计簇数的版本并列第二。这说明,即使使用者不提前提供分组数量,模型仍能保持较强的整体聚类表现。

打开网易新闻 查看更多图片

图 4 真实数据集上的 ARI 排名中位数(左)与簇数估计误差中位数(右),均越低越好。* 表示提供真实簇数,+ 表示通过轮廓系数选取簇数。来源:论文原图 7。

在簇数估计上,TabClustPFN 的误差中位数为 1,优于论文比较的其他 PFN 相关方案。

真实数据基准的范围是最多 1,000 个样本、64 个特征和 10 个类别。论文还探索了更大样本量和更高维度的情形,这些方向也为进一步扩大适用范围留下了空间。

回到最初那张客户表。使用者真正关心的,可能只是能否尽快找到值得研究的群体,而不必先熟悉一整套聚类算法。

TabClustPFN 将预训练积累的经验用于新表格,通过前向推断给出分组,同时呈现对分组数量的不确定性。这让使用者有机会少花一些时间反复尝试,更早开始分析数据中的规律。