Domů → Návody → GPT-6 Astra vs GPT-6.1 Sol vs Claude Opus 5.5: programátorský test se skrytými testy

GPT-6 Astra vs GPT-6.1 Sol vs Claude Opus 5.5: programátorský test se skrytými testy

Benchmarky na kartách modelů spouštějí ti, kdo model prodávají. Napsali jsme proto vlastní: 13 úloh v JavaScriptu, každou vyřešil každý model dvakrát napoprvé, a odpovědi jsme ověřili 286 skrytými testovacími případy v sandboxu bez sítě. Sedm úloh je běžný kód, šest stojí na snadno přehlédnutelných hraničních případech.

Výsledky

Model	Splněné testovací případy	Úplně vyřešené úlohy	Medián času, běžné úlohy	Medián času, hraniční případy	Medián odpovědi (výstupní tokeny)	Průměrná cena úlohy
gpt-6.1-sol	286/286 (100%)	26/26	12.4 s	19.8 s	428	$0.0027
gpt-6-astra	284/286 (99.3%)	24/26	12.1 s	17.4 s	428	$0.0124
claude-opus-5-5	275/286 (96.2%)	21/26	4.2 s	8.9 s	447	$0.0056

Vše v obou bězích splnil jen gpt-6.1-sol. gpt-6-astra neprošel jedním případem, v obou bězích tím samým. claude-opus-5-5 byl dva- až třikrát rychlejší než oba modely GPT a psal kód podobné délky, ale neprošel nejvíce případy. Ceny jsou částky, které naše brána za přesně tyto požadavky naúčtovala.

Kde který model zaváhal

• GPT-6 Astra – nejkratší cesta. Když měly všechny hrany grafu váhu 0, hledání se zacyklilo, dokud Node nedošla paměť. Stejná chyba v obou bězích; zbylých sedm kontrol této úlohy prošlo.
• Claude Opus 5.5 – souběžnost a parsování výrazů. V obou bězích jeho asynchronní pool spouštěl najednou víc volání, než povoloval limit: pět při limitu tři. V úloze s mocninou jednou ignoroval výslovné pravidlo, že -2^2 je -4, a jednou přijal 2 2 jako platný výraz. V běžné kalkulačce jednou odmítl 1 + 2 * 3 kvůli mezerám, ačkoli zadání žádalo libovolné mezery.
• GPT-6.1 Sol – nic. Všech 286 kontrol v obou bězích.

Nic z toho není exotické: mezery, hrana s váhou 0, strop paralelních volání. Právě takové případy projdou rychlým ručním zkoušením a pak selžou v provozu, proto je testy kontrolují.

Rychlost

Opus 5.5 odpověděl na typickou úlohu za 4–9 sekund. Oba modely GPT potřebovaly 12–20 sekund, protože před psaním uvažují. V chatu, kde sledujete, jak odpověď přibývá, působí Opus mnohem rychleji; pro agenta, který po každém kroku spouští testy, deset sekund navíc málokdy znamená víc než cena špatné odpovědi.

Cena

Za úlohu stál gpt-6.1-sol 0,0027 $, claude-opus-5-5 0,0056 $ a gpt-6-astra 0,0124 $. Astra stála zhruba 4,6násobek Solu při o něco horším výsledku. Všechny tři psaly téměř stejně dlouhé odpovědi, rozdíl tedy dělá cena za token, ne upovídanost.

Jak jsme testovali

Každý model dostal stejný prompt: zadání plus „Odpověz přesně jedním blokem kódu s úplným modulem CommonJS“. Bez systémového promptu, bez příkladů, bez opakování. Kód běžel v Node 20 v kontejneru bez sítě s časovým limitem na úlohu; když odpověď spadla, každý testovací případ se spustil znovu zvlášť, aby jeden pád nevynuloval zbytek.

• Běžné úlohy (7): LRU cache, vyhodnocovač aritmetických výrazů, slučování intervalů, topologické řazení, oprava chybného binárního vyhledávání, omezovač rychlosti token bucket, parser jednoho řádku CSV.
• Hraniční případy (6): malý regex matcher s . * + ?, násobení 2000místných čísel bez BigInt, vyhodnocovač s pravě asociativním ^, asynchronní pool s omezenou souběžností, počítání pracovních dnů napříč roky a lexikograficky nejmenší nejkratší cesta.

Všechny požadavky šly přes naši bránu 12.–13. října 2026. Dva pokusy na úlohu jsou malý vzorek; rozdíl několika případů mezi dvěma modely může být běžný rozptyl. Bezchybný běh Solu a opakovaná chyba Astry ale ne.

Který použít

• Výchozí volba pro programování: gpt-6.1-sol – jediný bezchybný výsledek a nejnižší cena.
• Když jde hlavně o rychlost: claude-opus-5-5 – odpovídá za pár sekund; kombinujte ho s testy, protože nejčastěji přehlédne detail zadání.
• GPT-6 Astra: solidní, ale v tomto testu nepřinesl nic navíc oproti Solu, za více než čtyřnásobnou cenu.

Aktuální ceny: GPT-6.1 Sol · GPT-6 Astra · Claude Opus 5.5.

Začněte je používat

Žádné předplatné, žádné měsíční minimum, žádný hovor s obchodníkem. Dobijte v USDT a plaťte za to, co spotřebujete — 1 USDT jsou 2 kredity API zůstatku.

Přečíst 30sekundový rychlý start

Jazyk: English · 简体中文 · 繁體中文 · 日本語 · 한국어 · Deutsch · Français · Español · Türkçe · Português · Italiano · Bahasa Indonesia · Tiếng Việt · Bahasa Melayu · Polski · Čeština · فارسی · Русский

Ceny na této stránce se doplňují automaticky ze skutečných fakturačních dat. Podmínky třetích stran citujeme z jejich dokumentace.