Учёные из Meta* FAIR и Эдинбургского университета создали метод, который позволяет не только определить, насколько корректно рассуждает языковая модель, но и вмешаться в процесс, чтобы исправить ошибку. Подход получил название Circuit-based Reasoning Verification (CRV) и основан на анализе «вычислительных цепей» — подграфов нейронов, которые реализуют скрытые алгоритмы внутри модели.
CRV строит граф вычислений модели и отслеживает, какие связи между признаками активируются при решении задачи. Если структура этих связей указывает на сбой, то метод фиксирует ошибку и может подсказать, где именно произошёл сбой вычислений. Это, по сути, инструмент диагностики, который открывает внутреннюю «механику» модели и позволяет понимать, почему она пришла к неверному выводу.
Чтобы сделать такую «внутреннюю диагностику» возможной, исследователи модифицировали архитектуру LLM — в частности, Llama 3.1 8B Instruct — заменив плотные слои трансформера на обученные транскодеры. Эти компоненты заставляют модель представлять промежуточные вычисления не как непрозрачные числовые векторы, а как набор разреженных признаков. В итоге CRV получает возможность наблюдать, как информация распространяется внутри модели, и фиксировать характерные структурные «отпечатки» правильных и ошибочных шагов рассуждения.
На этом основании создаётся диагностическая модель, которая классифицирует каждый шаг рассуждения как корректный или ошибочный. В тестах на синтетических и реальных задачах (логические, арифметические, GSM8K) CRV показала более высокую точность, чем существующие black-box и gray-box методы, которые ограничиваются внешним поведением модели или простыми пробами активаций.
Ключевой результат — CRV не просто замечает корреляции, а выявляет причины ошибок. В одном из примеров система зафиксировала преждевременную активацию «умножающего» признака, из-за чего модель ошиблась в порядке операций. После редактирования этого признака модель пересчитала выражение правильно.
Анализ также показал, что характер ошибок зависит от типа задачи: сбои в логических рассуждениях и арифметике проявляются в разных паттернах вычислений. Это значит, что диагностический классификатор нужно обучать отдельно для каждого класса задач, хотя сами транскодеры остаются общими.
Авторы считают CRV шагом к созданию «учения об интерпретируемом ИИ», где поведение моделей можно не только наблюдать, но и понимать причинно — как разработчики анализируют трассировку ошибок в обычных программах. Потенциально на основе CRV могут появиться «отладчики для ИИ», позволяющие разработчикам выявлять первопричину сбоя и вносить точечные исправления без полного переобучения модели.
Если такие инструменты станут практикой, то языковые модели смогут действовать более надёжно и даже самостоятельно корректировать свои рассуждения при возникновении логических ошибок — почти как человек.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена