Джейсон Вэй: инструменты расширяют возможности малых моделей, но не заменяют усвоенные знания

Согласно нескольким источникам, пересказывающим пост, приписываемый Джейсону Вэю, он раньше считал убедительной концепцию «небольшого когнитивного ядра» с доступом к инструментам. В теории такая модель может найти редкий факт в интернете или поручить вычисление коду. Позже Вэй отметил, что эта логика недооценивает важность быстрых и естественных ответов без постоянных обращений к внешним системам.

Он сравнил ситуацию с обучением бадминтону: умение отдельно выполнить каждое движение не означает, что игрок сможет плавно и стабильно соединять их во время настоящего розыгрыша. Аналогично, модель, усвоившая знания и закономерности, может отвечать напрямую и формировать более обобщённые суждения, тогда как малая модель вынуждена искать, интерпретировать и собирать информацию по шагам.

Вэй также считает, что повторный поиск и повторное выведение ответа могут снижать надёжность длинных задач: ошибки способны накапливаться. Инструменты остаются важным способом усилить малые модели, однако для максимально высокого качества, по его мнению, пользователи по-прежнему будут выбирать более крупные модели. Это экспертная позиция, а не окончательное доказательство превосходства больших моделей во всех задачах.