通过MAmmoT，让LLM成为数学通才：从形式逻辑进阶到四则运算

---

数学推理是现代大型语言模型（LLM）的一个重要能力。尽管这个领域近来有了一些进展，但是闭源和开源的LLM之间仍然存在明显的差距。闭源模型如GPT-4、PaLM-2和Claude 2在GSM8K和MATH等常见数学推理基准上占据主导地位，而开源模型如Llama、Falcon和OPT在所有基准上都明显落后

为了解决这个问题，研究界正朝着两个方向努力

（1）Galactica 和 MINERVA 等持续型预训练方法，可以在超过千亿个数学相关网络数据的基础上对 LLM 进行持续训练。这种方法可以提高模型的一般科学推理能力，但计算成本较高

拒绝采样微调（RFT）和WizardMath等特定数据集微调方法，即使用特定数据集的监督数据对LLM进行微调。虽然这些方法可以提高在特定领域内的性能，但无法泛化到微调数据之外的更广泛数学推理任务。例如，RFT和WizardMath可以将在GSM8K（其中之一是微调数据集）上的准确性提高30％以上，但会损害在MMLU-Math和AQuA等领域之外数据集上的准确性，使其降低多达10％

近日，来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种轻量级却又可泛化的数学指令微调方法，可用于增强 LLM 的一般性（即不限于微调任务）数学推理能力。

重写后的内容：在过去，关注的方法主要是思维链（CoT）方法，即通过逐步自然语言描述来解决数学问题。这种方法非常通用，可以应用于大多数数学学科，但在计算精度和复杂的数学或算法推理过程（例如求解二次方程根和计算矩阵特征值）方面存在一些困难

相比之下，像思维程序（PoT）和 PAL 这样的代码格式 prompt 设计方法则是利用外部工具（即 Python 解释器）来大幅简化数学求解过程。这种方法是将计算过程卸载到外部 Python 解释器来求解复杂的数学和算法推理（例如使用 sympy 求解二次方程或使用 numpy 计算矩阵特征值）。但是，PoT 难以应对更抽象的推理场景，比如常识推理、形式逻辑和抽象代数，尤其是没有内置的 API 时。

为了兼顾CoT和PoT两种方法的优点，该团队引入了一个新的数学混合指令微调数据集MathInstruct，该数据集具有两个主要特点：(1) 广泛涵盖不同的数学领域和复杂程度，(2) 将CoT和PoT原理融合在一起

MathInstruct 基于七个现有的数学原理数据集和六个新整理出的数据集。他们使用 MathInstruct 微调了不同大小（从 7B 到 70B）的 Llama 模型。他们将所得到的模型称为 MAmmoTH 模型，结果发现 MAmmoTH 的能力是前所未有的，就像是一个数学通才。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

为了评估MAmmoTH，研究团队使用了一系列评估数据集，其中包括领域内的测试集（GSM8K、MATH、AQuA-RAT、NumGLUE）和领域外的测试集（SVAMP、SAT、MMLU-Math、Mathematics、SimulEq）

研究结果显示，MAmmoTH 模型在泛化到领域外数据集方面表现更好，同时也显著提升了开源 LLM 在数学推理方面的能力

值得注意的是，在常用的竞赛级MATH数据集上，MAmmoTH的7B版本能够以3.5倍的优势（35.2% vs 10.7%）击败WizardMath（这是MATH上之前最佳的开源模型），而经过微调的34B MAmmoTH-Coder甚至可以超过使用CoT的GPT-4

这项研究的贡献可以总结为两个方面：（1）在数据工程方面，他们提出了一个高质量的数学指令微调数据集，其中包含了多种不同的数学问题和混合原理。（2）在建模方面，他们训练和评估了大小从7B到70B的50多个不同的新模型和基准模型，以探究不同数据源和输入-输出格式的影响

研究结果表明，MAmmoTH和MAmmoTH-Coder等新模型在准确度方面明显超过了之前的开源模型

• 论文：https://arxiv.org/pdf/2309.05653.pdf
• 代码：https://github.com/TIGER-AI-Lab/MAmmoTH
• 数据集与模型：https://huggingface.co/datasets/TIGER-Lab/MathInstruct

该团队已经发布了他们整理得到的数据集，并开源了新方法的代码，同时在Hugging Face上发布了训练好的不同大小的模型

新提出的方法

重新整理一个多样化的混合指令微调数据集

该团队的目标是编制一份列表，其中包含高质量且多样化的数学指令微调数据集，其应具有两个主要特征：(1) 广泛涵盖不同的数学领域和复杂程度，(2) 将 CoT 和 PoT 原理组合到一起。

对于第一个特征，研究人员首先选择了一些广泛使用的高质量数据集，这些数据集涉及不同的数学领域和复杂程度，例如GSM8K、MATH、AQuA、Camel和TheoremQA。然后他们注意到现有的数据集中缺乏大学水平的数学知识，例如抽象代数和形式逻辑。为了解决这个问题，他们利用网上找到的少量种子示例，使用GPT-4合成了TheoremQA中问题的CoT原理，并通过自我指导的方式创建了“问题-CoT”配对

对于第二个特征，将 CoT 和 PoT 原理组合到一起可以提升数据集的多功能性，使其训练的模型有能力解决不同类型的数学问题。但是，大多数现有数据集提供的程序原理有限，导致 CoT 和 PoT 原理之间不平衡。为此，该团队又用到了 GPT-4，来为所选数据集补充 PoT 原理，包括 MATH、AQuA、 GSM8K 和 TheoremQA。然后再对这些 GPT-4 合成的程序进行过滤，做法是将它们的执行结果与人类标注的基本真值进行比较，这能确保所添加的都是高质量的原理。

遵循这些准则，他们创建了一个新的数据集 MathInstruct，详见下表 1。

其中包含 26 万对 (指令,响应)，覆盖广泛的核心数学领域（算术、代数、概率学、微积分和几何等），包含混合的 CoT 和 PoT 原理，并有不同的语言和难度。

重新设置训练

MathInstruct 的所有子集都被统一成了类似 Alpaca 的指令数据集的结构。这种标准化操作可以确保微调得到的模型能够一致地处理数据，无论原始数据集的格式如何

在基础模型方面，该团队选择了Llama-2和Code Llama

通过在 MathInstruct 上进行调整，他们获得了不同尺寸的模型，包括7B、13B、34B和70B

实验

评估数据集

为了评估模型的数学推理能力，该团队选择了一些评估数据集，见下表 2，其中包含许多不同领域内和领域外样本，涉及多个不同数学领域。

评估数据集包含不同难度等级，包括小学、中学和大学水平。有些数据集还包括形式逻辑和常识推理

所选择的评估数据集既有开放式问题，也有多项选择题。

对于开放式问题（如 GSM8K 和 MATH），研究者采用了 PoT 解码，因为大多数这类问题可以通过程序求解。、

对于多项选择题（如 AQuA 和 MMLU），研究者采用了 CoT 解码，因为这个数据集中的大部分问题都可以通过 CoT 更好地处理。

CoT 解码不需要任何触发词，而 PoT 解码需要一个触发语：「Let’s write a program to solve the problem」。

主要结果

AiTxt 文案助手

AiTxt 利用 Ai 帮助你生成您想要的一切文案，提升你的工作效率。

98 查看详情

下表 3 和表 4 分别报告了在领域内外数据上的结果。

总体而言，在不同的模型大小上，MAmmoTH 和 MAmmoTH-Coder 都优于之前最佳的模型。新模型在领域外数据集上取得的性能增长多于在领域内数据集上所获增长。这些结果表明新模型确实有成为数学通才的潜力。MAmmoTH-Coder-34B 和 MAmmoTH-70B 在一些数据集上的表现甚至超过了闭源 LLM。

研究人员还比较了使用不同的基础模型的情况。具体而言，他们进行了实验，比较了Llama-2和Code-Llama这两种基础模型。从上述两个表格可以看出，Code-Llama整体上优于Llama-2，尤其是在领域外数据集上。MAmmoTH和MAmmoTH-Coder之间的差距甚至可达到5%

消融研究在数据源上的探索

他们通过进行研究来探索性能增益的来源。为了更好地理解MAmmoTH相对于已有的基准模型的优势来源，研究者进行了一系列对照实验，结果如图2所示

总结起来，MAmmoTH 的显著性能优势可以归功于：1) 涵盖不同的数学领域和复杂程度的多样化数据源，2) CoT 和 PoT 指令微调的混合策略。

他们也研究了主要子集的影响。对于用于训练 MAmmoTH 的 MathInstruct 的多样化来源，理解各个来源对模型整体性能的贡献程度也很重要。他们关注的重点是四个主要子集：GSM8K、MATH、 Camel 和 AQuA。他们进行了一项实验：逐渐将每个数据集添加到训练中，并将性能与在整个 MathInstruct 上微调的模型进行比较。

根据表5的结果可以看出，如果训练数据集的多样性不足（例如只有GSM8K时），模型的泛化能力非常差：模型只能适应数据分布内的情况，难以解决GSM问题之外的问题

多样化数据源对MAmmoTH的重要影响在这些结果中得到了凸显，这也是使MAmmoTH成为数学通才的核心关键。这些结果还提供了宝贵的见解，对于我们未来的数据整理和收集工作提供了指导，例如我们应该始终收集多样化的数据，避免只收集特定类型的数据

以上就是通过MAmmoT，让LLM成为数学通才：从形式逻辑进阶到四则运算的详细内容，更多请关注其它相关文章！

# 丰田  # SEO文案励志配图  # 巴南正规网站建设效果  # 机械行业广告推广营销  # 小装饰公司怎么推广营销  # 长沙360网站推广厂家  # 餐饮网站建设优化  # 顺德网站建设优势  # 郴州营销推广企业名单查询  # 贵港网站怎么做推广的呢  # 京东网站页面优化分析  # 进行了  # 成了  # 模型  # 特征值  # 中国科学院  # 高质量  # 域外  # 开源  # 进阶  # 形式逻辑  # llama  # claude  # hugging face  # 数据 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 大脚攀爬者车主福利！无人机、运动相机大奖等你来挑战  微软更新服务协议，以防止通过AI服务进行逆向工程和数据抓取  组建团队，字节跳动要造机器人？  苹果CEO库克：持续研究生成式人工智能技术  五个出色的人工智能应用实例  导演郭帆：人工智能应用可能会影响《流浪地球 3》的创作开发  引领AI变革，九章云极DataCanvas公司重磅发布AIFS+DataPilot  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  当孔子遇见AI｜尼山的“数字”  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  猿力科技入选北京市通用人工智能产业创新伙伴计划  海南省公安机关警用无人机培训班结业并举行警航比武演练  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  轻量级的深度学习框架Tinygrad  元宇宙迈入2.0时代，它和生成式人工智能有何关联吗？  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病  昆仑万维与全球领先的元宇宙公司Meta达成商务合作，共同认可昆仑万维在XR领域的技术实力  美图设计室2.0新增哪些功能  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  数据显示：人工智能相关专业热度上升最快 考古、美术、生物医学工程等小众专业火了  华为云发布华为云盘古模型3.0和升腾AI云服务，亮点亮相2025华为开发者大会  智能化解决方案：保障数据安全阻击泄露和丢失  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  马斯克嘲讽人工智能：机器学习本质就是统计学  人形机器人概念大热！这些产业链标的或受提振  研究发现AI聊天机器人ChatGPT不会讲笑话，只会重复25个老梗  了解 AGI：智能的未来？  国家发改委组织工业机器人产业高质量发展现场会  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  智能机器人正在彻底改变客户服务  微软推出人工智能模型 CoDi，可互动和生成多模态内容  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  北京市元宇宙产业创新中心筹建工作正式启动  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  沐曦首款AI推理GPU亮相：INT8算力达160TOPS！  百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”  ChatGPT 可以设计机器人吗？  Valve 将拒绝采用 AI 生成未知版权内容的游戏上架 Steam  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  「从未被制造出的最重要机器」，艾伦·图灵及图灵机那些事  美图公司吴欣鸿：AI技术重构影像产业  万魔推出AI主攻的运动耳机，开启十年研发新纪元  编程已死，AI 当立？教授公开“唱反调”：AI 还帮不了程序员  鸿蒙4即将支持大规模AI模型  马斯克讽刺人工智能炒作：什么“机器学习”，其实就是统计  AI 作画工具 Midjourney 推出“pan”功能，可平移扩展图片外场景  杀入生成式AI的亚马逊云科技，能否再次生成未来？ 

 2023-09-25