还在死磕AI咒语？北大-百川搞了个自动提示工程系统PAS

---

aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

论文共同第一作者郑淼，来自于周泽南领导的百川对齐团队，毕业于北京大学，研究方向包括大语言模型、多模态学习以及计算机视觉等，曾主导MMFlow等开源项目。共同第一作者梁昊，北京大学前沿交叉学科研究院博士生，研究方向为大模型数据侧，指导老师为张文涛教授。北大-百川智能AI系统联合实验室成立于2025年1月，旨在围绕人工智能模型系统的全技术流程，研究科学和系统的数据生成和质量评估策略、大模型训练和推理加速等重要问题。联合实验室由北京大学博雅特聘教授崔斌和百川智能联合创始人陈炜鹏担任主任。

基于 Transformer 架构的大语言模型正在各个领域取得突破性成果。提示词工程（Prompt Engineering）在其中的角色至关重要。

用好提示词，研究人员和开发者能够引导模型在特定任务上表现得更优秀。这种方法不仅能够显著提升模型的性能，还能够增强模型的适应性，使其在面对各种复杂任务时更加灵活和高效。

此外，提示词工程还能优化模型的学习过程，提高复杂问题处理效率，减少训练时间和计算资源需求。

相较于传统的微调方法，提示词工程能以极低成本使模型适应多个下游任务，大幅节省计算资源和数据收集成本。然而，设计有效的提示词对非专业人士而言仍具挑战性，往往需要大量学习和实践。

直接利用大语言模型进行自动提示工程通常难以取得理想效果。不恰当的提示可能分散模型注意力，反而降低性能。因此，开发一个能辅助用户，操作简便的自动提示工程系统变得尤为重要。

PAS：突破性的自动提示工程系统

为应对这一挑战，北京大学 - 百川联合实验室提出了 PAS 自动提示工程系统。PAS 的创新之处在于：

1.    设计高质量的自动提示数据集

2.    对 GPT 模型进行少样本学习和数据筛选

3.    自动构建精简而高效的提示数据集

4.    通过微调实现有效的自动提示工程

PAS 能够对用户输入进行简洁而有效的补充，实现快速、简单且支持流式显示的自动提示工程。

在多个基准测试中，PAS 的表现远超既有的 SOTA 模型，且所需数据量更少。人工评测结果同样显示 PAS 具有优异表现，凸显了其在实际应用中的巨大潜力。

这一突破性成果不仅推动了提示词工程的发展，也为大语言模型在更广泛领域的应用铺平了道路。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/abs/2407.06027
• PKU-Baichuan-MLSystemLab：

https://github.com/PKU-Baichuan-MLSystemLab

https://huggingface.co/PKU-Baichuan-MLSystemLab

方法

训练 PAS 主要分为三步：

第一步：构建高质量问题数据集

训练 PAS 的首要任务是建立一个高质量的问题数据集。如图 (a) 所示，研究人员根据 LMSYS-1M 和 WildChat 数据集，通过以下三方面筛选出优质问题：

1.    数据去重：运用 embedding 技术结合聚类算法，有效去除重复数据。

2.    质量筛选：利用百川大模型对数据质量进行评估和筛选。

3.    多样性保证：最终选出覆盖 10 多个类别的 9000 条高质量问题数据。

第二步：补充提示工程数据

在这一阶段，研究人员综合利用内部积累的 100 条高质量数据和第一步筛选的问题数据，通过 few-shot learning 方法，借助 GPT 模型构建自动提示工程数据：

1.    初始数据生成：使用 few-shot learning 指导 GPT 生成初步的提示工程数据。

2.    质量控制：设计 Critique 步骤，再次利用 few-shot learning 让 GPT 评估生成数据的质量。

3.    迭代优化：自动筛除低质量数据，并重新生成，通过多轮迭代确保数据质量。

4.    最终成果：最终得到 9000 条高质量的自动提示工程数据。

Remover

几秒钟去除图中不需要的元素

304 查看详情

数据分布

生成的 9000 条数据的分布情况如上图所示，确保了数据的多样性和代表性。

第三步： 微调自动提示模型

最后一步将利用前两个阶段获得的数据集来微调大型语言模型：

1. 选择基础模型：如 Qwen2-7b 等模型。

2.    定向微调：使用高质量数据集进行微调。

3.    专业化训练：最终得到一个专门用于自动提示工程的大语言模型。

实验及结果

人工评测

根据人类评估员的测评，相比先前的 SOTA（State-of-the-Art）模型，PAS 在各领域均展现出较高的胜率。在多个领域的平均胜率超过 50%，胜率与平局率之和更是高达 80% 以上。

机器评测 Benchmark 

为全面评估 PAS 的性能，研究人员选择了Arena-Hard、Alpaca-Eval 2.0、Alpaca-Eval 2.0 (LC) 三个 benchmark。

随后，研究人员将 PAS 应用于六个顶尖的 AI 模型，包括：

• GPT-4（三个版本）
• GPT-3.5
• Qwen2-72-Instruct
• LLaMA3-70B-Instruct

评测结果显示：

• 相较于无提示情况和先前的 SOTA 自动提示工程模型，PAS 均取得了显著提升。
• 与之前的 BPO 模型相比，PAS 展现出更强的适应性，能够与各种超大模型兼容，并在每个模型上都实现了性能提升。

计算效率分析

PAS 不仅在性能上表现卓越，其计算效率也非常高：在数据效率方面，它仅需 9000 条微调数据便能展现出卓越性能。在输出效率方面，它能够限制补充自动提示的长度，通常不超过 30 个词。

对于用户体验而言，PAS 也为大模型带来了增益，具体来说：

 

• 与 BPO 等先前模型不同，PAS 无需修改用户的原始问题，仅进行补充自动提示。
• 提供极佳的用户体验，响应时间可控。
• 支持类似 GPT 的流式显示，进一步提升交互体验。

实例：PAS 帮助大模型绕开逻辑陷阱

「如果树上有 10 只鸟，其中一只被射死了，地上有多少只鸟？」

这个看似简单的问题实际上隐藏着一个巧妙的逻辑陷阱，你看到它可能也需要反应几秒，才知道树上还剩 9 只鸟，而地上只有 1 只。

正如图上所示，在没有 PAS 辅助的情况下，GPT 给出了错误的回答。而 PAS 系统通过补充提示词，显著改善了模型的表现：

在 PAS 的引导下，模型新一轮的回答展现出了显著的提升，不仅成功规避了问题中的逻辑陷阱，展示了清晰的、多步骤的逻辑推理过程，还能在给出正确答案之外引导用户理解整个推理过程。

感兴趣的读者可以阅读论文原文，了解更多研究内容。

以上就是还在死磕AI咒语？北大-百川搞了个自动提示工程系统PAS的详细内容，更多请关注其它相关文章！

# 多个  # 网站建设设计广州  # 安徽网站营销推广费用  # 酒泉团购推广招聘网站  # 网站建设卖点  # 东莞专业seo优化的网站费用  # 陵水工程护坡网站建设  # 营销推广意思解释  # 河北区网站营销推广专员  # 怎么不花钱推广网站呢  # seo清迈  # 这一  # 所示  # 北京大学  # 工程  # 死磕  # 搞了个  # 高质量  # 北大  # 百川  # 还在  # type  # 百川大模型  # llama  # qwen  # git  # pas  # 自动提示工程系统 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  下一个前沿：量子机器学习和人工智能的未来  报道称亚马逊正在测试AI生成产品评价摘要  世界人工智能大会|“AI领航，共筑未来”高端保险论坛成功举办  张勇对话多位诺奖得主 人工智能将无处不在  “风乌”气象大模型科学家团队：用AI预报极端天气未来不是梦！  十个AI算法常用库J*a版  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  马斯克回应人工智能拯救世界：人类已处于“半机器人”状态  测试框架-安全和自动驾驶  小艺主导智慧交互升级，借助AI大模型增强能力  报告称 70% 程序员已使用各种 AI 工具编程  AI成政客博弈工具，美国大选真假难辨，律师们的生意来了  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  中国联通推出“极光一号”5G机载终端，适配大疆等品牌无人机设备  第 66 届格莱美奖规定，AI 作品将无法获得评奖资格  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  WAIC 2025｜云深处科技绝影Lite3与X20四足机器人亮相  稿见AI助手：提升写作效率与质量的必备工具  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜？  对话式论文阅读工具PaperMate上线，综述细节AI告诉你  无人机巡检方案是什么，该如何选择适合的巡检方案  能抓取玻璃碎片、水下透明物，清华提出通用型透明物体抓取框架，成功率极高  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  小米创始人雷军将揭示小米AI在年度演讲中的最新进展  OpenAI已向中国申请注册“GPT-5”商标，此前已在美国提交申请  30+大模型齐聚，大模型成世界人工智能大会“顶流”  午报 | 字节跳动要造机器人；东方甄选首次启动自有APP|直播|  塑造全能智能管家：华为小艺AI加成应对大模型挑战  联想举办2025创新开放日，展出260余项算力及AI产品技术  无需照相馆，AI证件照生成软件即将推出  一文看懂被英伟达看中的九号机器人移动底盘  视觉中国推出AI灵感绘图功能，付费后可在“合法合规前提下使用”  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  速途网络成立“人工智能专家委员会”5位中美博士加盟  深圳人工智能企业超1900家  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  奥比中光子公司和斯坦德机器人深度合作，共同推进新一代激光雷达的研发  统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  一公司推出喷火机器狗，可喷出 9 米长火焰  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  腾讯AI首次模拟拼接三星堆文物，工作取得阶段性的成果  大模型新品出现井喷，AI产业迎来新时代  美妆行业在AI时代蓬勃发展  人工智能如何用于家庭安全  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏 

 2024-09-10