Jason Wei:工具增强小模型,但难以替代大模型的内化能力
Jason Wei 对“1B 小模型加工具即可达到大模型智能水平”的观点提出反思。他认为,联网搜索和代码执行能够弥补部分知识与计算能力,但无法完全替代模型通过训练内化知识、模式和判断能力。
据多家来源转述,Jason Wei 表示,他曾一度认同“足够强的认知核心配合工具即可替代规模扩张”的设想,但后来认为这一判断过于乐观。小模型原则上可以借助搜索和代码工具完成许多任务,却往往需要更多步骤来获取信息、推导答案并组织输出。
他用学习羽毛球作比喻:能够记住并完成每个动作,不等于能在真实比赛中自然、稳定地串联这些动作。对应到语言模型,知识被直接内化的模型通常可以更快回应,也更可能形成基于大量信息的综合判断,而不是简单复述搜索结果。
Wei 还指出,频繁调用工具和重复推导会增加长流程任务中的出错机会,错误可能逐步累积。因此,工具仍是提升小模型能力的重要手段,但如果目标是最高质量的智能表现,模型规模和内部知识容量仍然重要。该观点属于专家论述,并非对所有任务的实证定论。
来源证据
Jason Wei 反驳小模型+工具路线:内化知识才是顶级智能的关键chatgpt-sites.lzw.me · supportingJason Wei 曾经认为一个10 亿参数的“认知核心”配合联网搜索、代码执行等工具就能达到大模型的效果,但后来指出这种想法是错误的。
Jason Wei反驳小模型+工具路线:光靠工具撑不起顶级AI智能 - 微博weibo.com · supporting一直有一种观点,就是小模型加Harness,就能达到大模型的智能效果: > 只需要一个10 亿参数的小模型作为“认知核心”,其余能力靠联网搜索、执行代码等工具补齐就够了。
只需要一个10 亿参数的小模型作为“认知核心”,其余能力靠联网 ... - 新浪sina.cn · supporting一直有一种观点,就是小模型加Harness,就能达到大模型的智能效果: > 只需要一个10 亿参数的小模型作为“认知核心”,其余能力靠联网搜索、执行代码等工具
就能达到大模型的智能效果: > 只需要一个10 亿参数的小 ...x.com · supporting一直有一种观点,就是小模型加Harness,就能达到大模型的智能效果: > 只需要一个10 亿参数的小模型作为“认知核心”,其余能力靠联网搜索、执行代码等
web_search,知识库等),或者多个模型组合加harness 一样 ...x.com · supporting一直有一种观点,就是小模型加Harness,就能达到大模型的智能效果: > 只 ... 能力靠联网搜索、执行代码等工具补齐就够了。 Jason Wei Show more.
Jason Wei Rebuts Small Model Plus Tools Argument with ... - XNewsxnews.xgrowing.ai · supporting一直有一种观点,就是小模型加Harness,就能达到大模型的智能效果: > 只需要一个10 亿参数的小模型作为“认知核心”,其余能力靠联网搜索、执行代码等