Как сравнивать модели и поставщиков доступа

Вопрос «какая модель лучше» не имеет ответа в отрыве от задачи. Публичные рейтинги отвечают на свой вопрос: как модель справляется с их набором задач. Совпадение с вашим набором — дело случая, и обычно оно невелико.

Полезный способ выбирать — измерить на себе. Это занимает день и заменяет месяцы обсуждений.

Тестовый набор

Двадцати задач достаточно для первого ответа, пятидесяти — для уверенного. Больше редко нужно на стадии выбора.

Собирать их надо из реальных обращений, а не придумывать. Придуманные примеры всегда аккуратнее настоящих: в них нет опечаток, обрывков, вежливых вступлений на три абзаца и вопросов, заданных наполовину.

В набор обязательно включаются неудобные случаи: пустой запрос, запрос не по теме, слишком длинный текст, вопрос с ошибочной предпосылкой. Именно на них разница между вариантами видна лучше всего — на простых задачах все выглядят одинаково.

К каждой задаче нужен эталон. Не обязательно единственно верный ответ — достаточно критерия: какие факты должны быть упомянуты, какой формат обязателен, чего быть не должно.

Что измерять

Про расход стоит сказать отдельно. Сравнивать цену за тысячу токенов бессмысленно: у моделей разная многословность. Дешёвая модель, которая на тот же вопрос отвечает втрое длиннее, обходится дороже. Считайте стоимость одного полезного ответа на своём наборе — это единственное честное сравнение.

Стабильность формата тоже недооценивают. Модель, которая в девяти случаях из десяти выдаёт разбираемую структуру, а в десятом добавляет вежливое вступление, потребует обработки этого десятого случая. Иногда дешевле взять модель чуть слабее, но предсказуемее.

Как проводить сравнение

Главное правило — один прогон ничего не значит. Ответы отличаются от раза к разу, и разница в несколько процентов между двумя вариантами вполне может оказаться шумом. Прогоняйте набор несколько раз и смотрите на разброс: улучшением считается только то, что его превышает.

Второе правило — менять по одному. Одновременная смена модели и правка инструкции делает результат необъяснимым: непонятно, что именно помогло.

Третье — сравнивать вслепую. Если человек знает, какой вариант «новый и дорогой», оценка смещается. Достаточно перемешать ответы и убрать подписи.

Что сравнивать у поставщиков доступа

Когда модель одна и та же, вопрос смещается в сторону инфраструктуры. Здесь важны другие вещи: стабильность времени ответа под нагрузкой, поведение при превышении лимитов, честность статистики расхода, скорость появления новых моделей и внятность документации.

Проверяется это не по описанию на сайте, а в работе: неделя реального трафика показывает больше, чем любая таблица сравнения. Если один и тот же anthropic api доступен у нескольких поставщиков, сравнивать придётся именно инфраструктуру, а не качество ответов. Полезно с самого начала держать конфигурацию с возможностью переключения — тогда сравнение делается флагом, а не переписыванием кода.

Отдельно стоит проверить, что разбивка расхода в ответе приходит и совпадает с личным кабинетом. Расхождение между тем, что вы насчитали сами, и тем, что показывает счёт, — повод разбираться до, а не после запуска.

Сколько стоит само сравнение

Прогон набора из пятидесяти задач на трёх вариантах — это полторы сотни обращений. На любой разумной модели это сумма, которая не требует согласования, и об этом стоит помнить тем, кто откладывает проверку из экономии.

Дороже здесь человеческое время на разметку эталонов. Но оно тратится один раз, а окупается при каждом следующем сравнении.

Кто оценивает ответы

Самый трудоёмкий этап сравнения — не прогон, а оценка. Для задач с однозначным ответом всё просто: сверка с эталоном автоматическая. Для свободных текстов — сложнее.

Три работающих подхода. Проверяемые признаки вместо целостной оценки: упомянут ли нужный факт, соблюдён ли формат, есть ли выдуманные детали. Такие признаки проверяются почти автоматически и не зависят от настроения оценивающего.

Попарное сравнение вместо оценки по шкале. Человеку трудно устойчиво ставить баллы от одного до пяти, но легко сказать, какой из двух ответов лучше. Из попарных сравнений собирается порядок.

Оценка моделью — с оговорками. Дешёвая модель может сверять ответ с эталоном по заданным признакам, и на больших наборах это экономит дни работы. Но её саму надо сначала проверить на сотне примеров, оценённых человеком, иначе вы измеряете не качество ответов, а совпадение двух предубеждений.

Чего не стоит делать

Не сравнивайте на задачах, которые все варианты решают одинаково. Такие примеры не несут информации и создают иллюзию, что разницы нет.

Не меняйте набор посреди сравнения. Добавленная задача обнуляет сопоставимость с предыдущими прогонами.

Не выбирайте по одному показателю. Самый точный вариант может оказаться самым медленным и дорогим одновременно, и решение всё равно будет компромиссом — лучше принимать его осознанно.

Не переносите чужой вывод на свою задачу без проверки. Отчёт о сравнении, сделанный на другом наборе и в другом месяце, отвечает на другой вопрос.

Когда пересматривать выбор

Разумный срок — раз в квартал. Модели обновляются, цены меняются, и вариант, проигравший полгода назад, может оказаться лучшим. Тестовый набор для этого и нужен: повторное сравнение занимает час, если он готов, и неделю, если его надо собирать заново.

Держите набор в репозитории рядом с кодом и добавляйте в него каждый случай, где сервис ответил плохо. Через год это будет самый ценный артефакт проекта.

Коротко

Публичные рейтинги не отвечают на ваш вопрос — отвечает набор из двадцати-пятидесяти реальных задач с эталонами. Измеряйте долю верных ответов, время до первого символа, стабильность формата, расход на ответ и долю сбоев. Один прогон ничего не доказывает: считайте разброс и меняйте по одному параметру за раз. Готовый набор превращает следующий пересмотр выбора из недельного проекта в часовую задачу.