Исследователи из T-Bank AI Research и лаборатории Центрального университета Omut AI разработали новый метод обучения LLM, позволяющий развивать их логические способности без традиционных затратных подходов.

Новая методика включает использование векторов-настроек (steering vectors), которые усиливают правильные логические шаги предобученной модели вместо переписывания ее параметров, как при обучении с подкреплением (reinforcement learning). Это позволяет сократить количество изменяемых параметров до нескольких сотен тысяч, даже для модели с 14 млрд настроек, что значительно снижает потребность в вычислительных ресурсах и памяти.

Метод подтвердил свою эффективность на шести мировых бенчмарках по математическому рассуждению, показав качество до 100% при минимальных изменениях в параметрах модели. Он также облегчает интерпретацию поведения модели, позволяя исследователям лучше понимать, как LLM принимает решения.

Разработанный метод протестирован на моделях Qwen и LLaMA, и может быть применен в создании интеллектуальных ассистентов в разных областях, включая чат-ботов для обучения математике и программированию, а также аналитических платформ в медицине. Вячеслав Синий, исследователь научной группы AI Alignment T-Bank AI Research отметил, что этот подход позволяет моделям рассуждать последовательно и проверять промежуточные вычисления, что ведет к более точным решениям, и при этом позволяет обучать модели рассуждению без изменения миллионов параметров.

В июле 2025 года исследователи Т-Банка научились контролировать смысловые процессы внутри ИИ, что позволяет управлять поведением LLM без дообучения и изменения ее архитектуры.

Источник: Т-Банк