Strona główna → Poradniki → GPT-6 Astra vs GPT-6.1 Sol vs Claude Opus 5.5: test programistyczny z ukrytymi testami
Benchmarki na kartach modeli uruchamiają ci, którzy dany model sprzedają. Napisaliśmy więc własny: 13 zadań w JavaScripcie, każde rozwiązane przez każdy model dwa razy za pierwszym podejściem i sprawdzone 286 ukrytymi przypadkami testowymi w piaskownicy bez sieci. Siedem zadań to codzienny kod; sześć zbudowano wokół łatwych do przeoczenia przypadków brzegowych.
| Model | Zaliczone przypadki testowe | Zadania rozwiązane w pełni | Mediana czasu, zadania codzienne | Mediana czasu, przypadki brzegowe | Mediana odpowiedzi (tokeny wyjściowe) | Średni koszt zadania |
|---|---|---|---|---|---|---|
gpt-6.1-sol | 286/286 (100%) | 26/26 | 12.4 s | 19.8 s | 428 | $0.0027 |
gpt-6-astra | 284/286 (99.3%) | 24/26 | 12.1 s | 17.4 s | 428 | $0.0124 |
claude-opus-5-5 | 275/286 (96.2%) | 21/26 | 4.2 s | 8.9 s | 447 | $0.0056 |
Tylko gpt-6.1-sol zaliczył wszystko w obu podejściach. gpt-6-astra nie zaliczył jednego przypadku, tego samego w obu podejściach. claude-opus-5-5 był dwa–trzy razy szybszy od obu modeli GPT i pisał kod podobnej długości, ale nie zaliczył najwięcej przypadków. Koszty to kwoty naliczone przez naszą bramkę za dokładnie te żądania.
-2^2 to -4, a raz uznał 2 2 za poprawne wyrażenie. W codziennym kalkulatorze raz odrzucił 1 + 2 * 3 z powodu spacji, choć zadanie wymagało obsługi dowolnych białych znaków.Nic z tego nie jest egzotyczne: spacje, krawędź o wadze 0, limit równoległych wywołań. To właśnie przypadki, które przechodzą szybki ręczny test, a potem psują się na produkcji, dlatego testy je sprawdzają.
Opus 5.5 odpowiadał na typowe zadanie w 4–9 sekund. Oba modele GPT potrzebowały 12–20 sekund, bo przed pisaniem rozumują. W czacie, gdzie patrzysz, jak pojawia się odpowiedź, Opus wydaje się znacznie szybszy; dla agenta, który po każdym kroku uruchamia testy, dodatkowe dziesięć sekund rzadko ma znaczenie wobec kosztu złej odpowiedzi.
Za zadanie gpt-6.1-sol kosztował 0,0027 $, claude-opus-5-5 0,0056 $, a gpt-6-astra 0,0124 $. Astra kosztowała ok. 4,6 razy więcej niż Sol przy nieco słabszym wyniku. Wszystkie trzy pisały odpowiedzi niemal tej samej długości, więc różnica bierze się z ceny za token, nie z gadatliwości.
Każdy model dostał ten sam prompt: treść zadania plus „Odpowiedz dokładnie jednym blokiem kodu z pełnym modułem CommonJS”. Bez promptu systemowego, bez przykładów, bez ponawiania. Kod uruchamiano w Node 20 w kontenerze bez sieci z limitem czasu na zadanie; jeśli odpowiedź się wysypała, każdy przypadek testowy uruchamiano osobno, żeby jedna awaria nie zerowała reszty.
. * + ?, mnożenie liczb 2000-cyfrowych bez BigInt, ewaluator z prawostronnie łącznym ^, asynchroniczna pula z limitem współbieżności, liczenie dni roboczych na przestrzeni lat i leksykograficznie najmniejsza najkrótsza ścieżka.Wszystkie żądania przeszły przez naszą bramkę 12–13 października 2026. Dwa podejścia na zadanie to mała próba; różnica kilku przypadków między dwoma modelami może wynikać ze zwykłej zmienności. Bezbłędny przebieg Sola i powtórzony błąd Astry już nie.
gpt-6.1-sol — jedyny bezbłędny wynik i najniższy koszt.claude-opus-5-5 — odpowiada w kilka sekund; łącz go z testami, bo najczęściej pomija szczegół specyfikacji.Aktualne ceny: GPT-6.1 Sol · GPT-6 Astra · Claude Opus 5.5.
Bez abonamentu, bez minimum miesięcznego, bez rozmowy z handlowcem. Doładuj w USDT i płać za to, czego używasz — 1 USDT to 2 kredyty salda API.
Przeczytaj 30-sekundowy szybki startJęzyk: English · 简体中文 · 繁體中文 · 日本語 · 한국어 · Deutsch · Français · Español · Türkçe · Português · Italiano · Bahasa Indonesia · Tiếng Việt · Bahasa Melayu · Polski · Čeština · فارسی · Русский
Ceny na tej stronie są uzupełniane automatycznie z rzeczywistych danych rozliczeniowych. Warunki stron trzecich cytujemy z ich dokumentacji.