Как сравнивать модели и поставщиков доступа
Почему публичные рейтинги не отвечают на ваш вопрос, из чего собрать собственный тестовый набор и какие пять величин стоит измерять при выборе.
OpenAI API остаётся самой распространённой точкой входа для тех, кто встраивает модели в продукт: под него написаны официальные библиотеки, примеры и большая часть документации в сети. Для российской команды сложность почти никогда не в самих моделях — она в том, что вокруг них. Доступность домена, способ оплаты, закрывающие документы и поддержка на понятном языке оказываются более серьёзным препятствием, чем любые технические детали.
Этот справочник разбирает вопрос по частям: какие возможности API применяются на практике чаще остальных, что именно мешает подключиться напрямую и какими способами это обходят. Отдельно рассмотрены форматы других поставщиков — в частности anthropic api, устроенный иначе в мелочах, которые заметны при переносе кода.
Читать можно по частям: слева идёт основной текст, справа на полях — короткие заметки, определения и то, что обычно теряется в длинных статьях. Материалы обновляются по мере изменений и не содержат рекламных обещаний — только то, что проверяется на практике и воспроизводится на вашей стороне без специальных условий.
Как читать
Основной текст — в колонке слева. На полях справа собраны определения и короткие замечания, которые относятся к соседним абзацам.
С чего начинают
Почти все проекты стартуют с первого пункта, а к остальным приходят по мере того, как становится понятна реальная задача.
Порядок важен
Лимит на ключ ставится до первого боевого запроса, а не после того, как цикл в коде отработает выходные.
Форматы всех поставщиков одинаковы
Базовые запросы похожи, но системные инструкции, работа с документами и вызов инструментов различаются в деталях.
Нужно переписывать код под каждого
При совместимом формате меняется адрес и ключ, остальной код остаётся прежним.
Чем больше контекст, тем лучше ответ
До определённого предела. Дальше модель хуже удерживает детали в середине длинного текста.
Достаточно проверять запрос на входе
Ответ тоже проверяется: числа и обещания сверяются с источником кодом.
Обновление модели ничего не меняет
Меняет. Поэтому версию закрепляют и переходят осознанно, с прогоном тестового набора.
Где ломается чаще всего
Структурированный вывод и вызов инструментов. Эти два места стоит проверять первыми при любом переносе.
Совместимость означает, что сервис принимает запросы в том же виде, в каком их принимает OpenAI, и отвечает такой же структурой. Официальные библиотеки про подмену не знают и продолжают работать как раньше.
Формат оказался достаточно простым, чтобы его повторили другие, и достаточно распространённым, чтобы под него написали инструменты. В результате большинство фреймворков умеют обращаться к любому совместимому адресу.
Этот блок целиком редактируется в Настройщике — сюда удобно положить основной текст страницы.
Проверка за десять минут
Возьмите один реальный запрос из своего кода, поменяйте адрес и посмотрите, придёт ли тот же по структуре ответ.
Кусочек текста, которым оперирует модель. В русском тексте это примерно два-три символа.
Всё, что уходит в модель вместе с вопросом: инструкция, история диалога и подмешанные документы.
Точка, куда библиотека отправляет запросы. При переходе на совместимый сервис меняется именно она.
Постоянное указание модели. У разных поставщиков передаётся по-разному.
Механизм, при котором модель просит вызвать ваш метод, а исполняет его ваш код.
Ответ приходит частями по мере генерации, а не одним куском в конце.
Зачем словарь
Половина недоразумений при обсуждении задачи возникает из-за того, что участники вкладывают в слово «контекст» разный смысл.
При обращении к совместимому адресу с российским доменом — нет. Подключение работает с обычного офисного интернета и с серверов внутри страны.
Нет, если вы используете официальные библиотеки. Меняется адрес API и ключ, остальной код остаётся прежним.
Да, совместимый формат обычно даёт доступ к моделям нескольких поставщиков через один ключ.
Деталями: способом передачи системной инструкции, схемой описания инструментов и работой с вложениями.
Прогоните три-четыре кандидата на своих реальных примерах и сравните результаты вслепую.
Отправлять минимум и обезличивать чувствительные поля на своей стороне. Условия хранения уточняйте у поставщика доступа.
Почему публичные рейтинги не отвечают на ваш вопрос, из чего собрать собственный тестовый набор и какие пять величин стоит измерять при выборе.
Как устроено сообщение, в котором соседствуют картинка и вопрос, какие вложения разбираются хорошо, какие плохо и что стоит сделать с файлом до…
Большое контекстное окно соблазняет закинуть в запрос всё сразу. Разбираем, во что это обходится по цене, скорости и точности и когда выгоднее…
Что даёт режим, где модель сначала думает, а потом отвечает, на каких задачах прирост качества реален и почему на большинстве запросов он…
Когда десять тысяч однотипных обращений выгоднее отправить пакетом, как устроен конвейер такой задачи и в каких местах из него чаще всего утекают…
О чём журнал
Практика работы с API: подключение, эксплуатация, ошибки и безопасность данных.