Главная → Руководства → GPT-6 Astra vs GPT-6.1 Sol vs Claude Opus 5.5: тест по программированию со скрытыми тестами
Бенчмарки в карточках моделей запускают те, кто эти модели продаёт. Поэтому мы написали свой: 13 задач на JavaScript, каждая модель решала каждую дважды с первой попытки, а ответы проверялись 286 скрытыми тест-кейсами в песочнице без сети. Семь задач — повседневный код, шесть построены вокруг легко упускаемых граничных случаев.
| Модель | Пройдено тест-кейсов | Задач решено полностью | Медиана времени, повседневные задачи | Медиана времени, граничные случаи | Медиана ответа (выходные токены) | Средняя стоимость задачи |
|---|---|---|---|---|---|---|
gpt-6.1-sol | 286/286 (100%) | 26/26 | 12.4 s | 19.8 s | 428 | $0.0027 |
gpt-6-astra | 284/286 (99.3%) | 24/26 | 12.1 s | 17.4 s | 428 | $0.0124 |
claude-opus-5-5 | 275/286 (96.2%) | 21/26 | 4.2 s | 8.9 s | 447 | $0.0056 |
Всё в обоих прогонах прошёл только gpt-6.1-sol. gpt-6-astra не прошёл один кейс — один и тот же в обоих прогонах. claude-opus-5-5 был в два-три раза быстрее обеих моделей GPT и писал код похожей длины, но не прошёл больше всего кейсов. Стоимость — то, что наш шлюз списал именно за эти запросы.
-2^2 равно -4, а другой принял 2 2 за корректное выражение. В повседневном калькуляторе один прогон отверг 1 + 2 * 3 из-за пробелов, хотя задача требовала поддержки любых пробелов.Ничего экзотического: пробелы, ребро с весом 0, лимит параллельных вызовов. Именно такие случаи проходят беглую ручную проверку и ломаются в продакшене, поэтому тесты их и проверяют.
Opus 5.5 отвечал на типичную задачу за 4–9 секунд. Обеим моделям GPT нужно было 12–20 секунд, потому что они рассуждают перед тем, как писать. В чате, где ответ появляется у вас на глазах, Opus ощущается гораздо быстрее; для агента, который после каждого шага запускает тесты, лишние десять секунд редко значат больше, чем цена неверного ответа.
За задачу gpt-6.1-sol стоил $0,0027, claude-opus-5-5 — $0,0056, gpt-6-astra — $0,0124. Astra обошлась примерно в 4,6 раза дороже Sol при чуть худшем результате. Ответы у всех трёх почти одинаковой длины, так что разница — в цене токена, а не в многословности.
Каждая модель получила одинаковый промпт: условие задачи плюс «Ответь ровно одним блоком кода с полным модулем CommonJS». Без системного промпта, без примеров, без повторных попыток. Код запускался в Node 20 в контейнере без сети с ограничением времени на задачу; если ответ падал, каждый тест-кейс перезапускался отдельно, чтобы одно падение не обнуляло остальные.
. * + ?, умножение 2000-значных чисел без BigInt, вычислитель с правоассоциативным ^, асинхронный пул с ограничением параллелизма, подсчёт рабочих дней через годы и лексикографически наименьший кратчайший путь.Все запросы шли через наш шлюз 12–13 октября 2026 года. Две попытки на задачу — небольшая выборка; разница в несколько кейсов между двумя моделями может быть обычным разбросом. Безошибочный прогон Sol и повторяющаяся ошибка Astra — нет.
gpt-6.1-sol — единственный идеальный результат и самая низкая цена.claude-opus-5-5 — отвечает за секунды; используйте вместе с тестами, потому что он чаще других пропускает деталь условия.Текущие цены: GPT-6.1 Sol · GPT-6 Astra · Claude Opus 5.5.
Без подписки, без ежемесячного минимума, без звонков с продавцами. Пополните баланс в USDT и платите только за использованное — 1 USDT даёт 2 кредита баланса API.
Прочитать быстрый старт за 30 секундЯзык: English · 简体中文 · 繁體中文 · 日本語 · 한국어 · Deutsch · Français · Español · Türkçe · Português · Italiano · Bahasa Indonesia · Tiếng Việt · Bahasa Melayu · Polski · Čeština · فارسی · Русский
Цены на этой странице подставляются автоматически из реальных данных биллинга. Условия третьих сторон процитированы из их документации.