首页 / 资讯详情
清华稳准智能联合发布LimiX-2，结构化数据基础模型登顶国际评测榜单
摘要
9月16日，稳准智能联合清华大学计算机系崔鹏教授，发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。在TabArena、BCCO、TALENT三个国际主流结构化数据Benchmark中，LimiX-2总体Elo分数分别达到1935、1432和1506，均位于榜单第一，超过Google、SAP、Amazon等国际大厂的同类模型。在TabArena、BCCO、TALENT三个国际主流结构化数据Benchmark中，LimiX-2 总体Elo分数分别达到1935、1432和1506，均位于榜单第一，超过Google、SAP、Amazon等国际大厂的同类模型。LimiX-2 登顶国际主流Benchmark榜单Elo是衡量模型综合能力的排名指标。TabArena、BCCO、TALENT是国际主流结构化数据模型评测基准，覆盖多类任务，用于评估模型在不同数据集上的泛化能力和预测性能，已成为当前结构化数据基础模型竞争的重要评价依据。LimiX-2在TabArena上的回归、二分类、多分类Elo均为最优这次模型能力升级主要沿着3条技术路线推进。第一是上下文机制网络CMNs（Contextual Mechanism Networks），作为预测依赖关系的系统，将建模重点从预先指定的目标变量，转向变量之间的相互关联；第二是在预训练阶段升级自动化合成数据的生成引擎；第三是进一步Scaling，将模型参数规模扩大至400M。LimiX团队提出上下文机制网络（CMNs），开辟从“目标预测”走向“结构发现”的结构化数据建模新范式。 传统经典 PFNs以指定目标的预测分布为核心； CMNs 则将上下文数据的全变量联合依赖作为建模对象，不仅关注变量取什么值，更着眼于发现变量如何相互关联、共同构成怎样的内在结构。这一范式转变重新确立了模型的学习目标。LimiX 通过上下文条件掩码建模（CCMM），在不同观测模式下组织跨变量监督，将变量关系推断确立为明确的预训练目标。模型不再仅为某个指定结果学习相关信息，而是通过多种条件预测，共同约束对全变量依赖结构的表达。这一原则也贯穿网络架构。因而，LimiX 采用单元格级（Cell-Level）建模，以变量在各样本中的观测为基本表示单元，保留列身份、具体取值和缺失状态，支持跨变量、跨样本的信息交互。从数据表示、训练目标到网络计算，整体设计围绕联合依赖建模展开。在这一框架下，分类、回归、缺失值填补等任务，被统一为对同一数据模型的不同查询。更重要的是，联合关系建模为结合因果假设开展因果骨架发现提供统计基础。CMNs所指向的，不只是更强的预测器，而是以联合建模为基础，以结构发现为方向，面向数据机制归纳的通用数据智能。在训练数据上，LimiX-2升级了大规模自动化合成数据的生成引擎。结构化数据大量存在于企业内部系统，很难像互联网文本一样被大规模公开获取，因此TabPFN、Mitra等表格基础模型也普遍使用合成数据进行预训练。LimiX-2 可以自动生成线性、非线性、多变量交互、周期变化和噪声扰动等不同分布的数据，让模型在进入真实企业之前，就接触更多的数据结构和变量关系。继去年11月，稳准智能发现并提出“结构化数据基础模型遵循Scaling Law”之后，此次新模型再次沿着这一技术路线，进一步将模型参数规模提升到400M。参数增至400M，将让LimiX所选技术路线在更大规模和尺度上得到验证，获得更强的泛化能力，因果关系规律的挖掘和稳定表达优势也能得到进一步的发挥。除了各项榜单体现的分类、回归等预测能力外，LimiX-2在因果发现方面也展