Как выстроить грамотное ИИ-ревью кода 🤖⠀
⠀
Коллеги из СберТеха рассказали о системе ИИ-ревью LinkedIn. Она проводит 79 тысяч проверок кода в неделю, а 63,9% её предложений разработчики принимают и включают в итоговый код.
⠀
С чего всё началось?
⠀

При тестировании готовых ревьюеров команда LinkedIn столкнулась с систематическими ошибками. Модели регулярно пропускали одни типы проблем и избыточно отмечали другие⠀

Поэтому компания создала собственный оркестратор, который координирует работу моделей. Разбираем устройство этой системы 👇⠀
⠀
Независимая проверка

Оркестратор параллельно запускает субагентов. У каждого своя модель, поиск контекста, промпты и фильтрация результатов. Несколько моделей изучают код и не видят выводов друг друга. Если находят одну проблему, уверенность в ней растёт. Если ошибку замечает только одна модель, другая перепроверяет находку.⠀

Оценка до и после релиза

Каждое изменение модели, промпта или харнесса проходит попарное сравнение с текущей версией. В нём используют LLM-судью, три раунда и смену позиций ответов. После релиза отдельный пайплайн сверяет предложения со смерженным кодом.

⠀
Правила на уровне репозитория

Платёжному сервису и экспериментальному фронтенду нужны разные стандарты ревью. Поэтому оркестратор сочетает правила всей компании. У него есть три уровня инструкций: глобальные YAML-правила организации, правила репозитория и требования конкретного кейса.⠀

⠀
Свой оркестратор позволяет команде постепенно внедрять изменения, менять провайдеров и следить за качеством ревью в каждом репозитории. А при смене моделей правила и система оценки остаются в компании 👌