خانه → راهنماها → GPT-6 Astra، GPT-6.1 Sol و Claude Opus 5.5: آزمون برنامه‌نویسی با آزمون‌های پنهان
بنچمارک‌های کارت مدل را فروشندهٔ همان مدل اجرا می‌کند. پس خودمان یکی نوشتیم: ۱۳ کار JavaScript که هر مدل هر کدام را دو بار و در یک تلاش حل کرد، سپس با ۲۸۶ مورد آزمون پنهان در سندباکسی بدون شبکه بررسی شد. هفت کار کد روزمره است و شش کار حول حالت‌های مرزیِ آسان‌فراموش ساخته شده.
| مدل | موارد آزمون قبول‌شده | کارهای کاملاً حل‌شده | زمان میانه، کارهای روزمره | زمان میانه، حالت‌های مرزی | میانهٔ پاسخ (توکن خروجی) | میانگین هزینهٔ هر کار |
|---|---|---|---|---|---|---|
gpt-6.1-sol | 286/286 (100%) | 26/26 | 12.4 s | 19.8 s | 428 | $0.0027 |
gpt-6-astra | 284/286 (99.3%) | 24/26 | 12.1 s | 17.4 s | 428 | $0.0124 |
claude-opus-5-5 | 275/286 (96.2%) | 21/26 | 4.2 s | 8.9 s | 447 | $0.0056 |
فقط gpt-6.1-sol در هر دو دور همه را قبول شد. gpt-6-astra یک مورد را از دست داد، همان یک مورد در هر دو دور. claude-opus-5-5 دو تا سه برابر سریع‌تر از هر دو مدل GPT بود و کدی با طول مشابه نوشت، اما بیشترین مورد را از دست داد. هزینه‌ها همان مبلغی است که درگاه ما برای همین درخواست‌ها حساب کرد.
-2^2 برابر -4 است» را نادیده گرفت و دور دیگر 2 2 را عبارتی معتبر پذیرفت. در ماشین‌حساب روزمره، یک دور 1 + 2 * 3 را به خاطر فاصله‌ها رد کرد، با اینکه کار پشتیبانی از فاصلهٔ دلخواه را خواسته بود.هیچ‌کدام عجیب نیست: فاصله، یالی با وزن صفر، سقف فراخوانی موازی. دقیقاً همین حالت‌ها هستند که در امتحان دستیِ سریع رد نمی‌شوند ولی در محیط واقعی خراب می‌شوند؛ برای همین آزمون‌ها آن‌ها را می‌سنجند.
Opus 5.5 یک کار معمولی را در ۴ تا ۹ ثانیه پاسخ داد. دو مدل GPT چون پیش از نوشتن استدلال می‌کنند ۱۲ تا ۲۰ ثانیه طول کشیدند. در گفت‌وگویی که ظاهر شدن پاسخ را تماشا می‌کنید Opus بسیار سریع‌تر به نظر می‌رسد؛ برای عاملی که پس از هر گام آزمون اجرا می‌کند، ده ثانیهٔ بیشتر در برابر هزینهٔ یک پاسخ غلط به‌ندرت مهم است.
برای هر کار، gpt-6.1-sol ۰٫۰۰۲۷ دلار، claude-opus-5-5 ۰٫۰۰۵۶ دلار و gpt-6-astra ۰٫۰۱۲۴ دلار هزینه داشت. Astra حدود ۴٫۶ برابر Sol گران‌تر بود و نمره‌اش کمی پایین‌تر. طول پاسخ هر سه تقریباً یکسان بود، پس تفاوت از قیمت هر توکن می‌آید نه از پرحرفی.
همهٔ مدل‌ها پرامپت یکسانی گرفتند: شرح کار به‌علاوهٔ «فقط با یک بلوک کد شامل ماژول کامل CommonJS پاسخ بده». بدون پرامپت سیستمی، بدون مثال، بدون تلاش دوباره. کد در Node 20 درون کانتینری بدون شبکه و با محدودیت زمانی برای هر کار اجرا شد؛ اگر پاسخی از کار می‌افتاد، هر مورد آزمون جداگانه دوباره اجرا می‌شد تا یک خرابی بقیه را صفر نکند.
. * + ?، ضرب اعداد ۲۰۰۰ رقمی بدون BigInt، ارزیاب با ^ راست‌شرکت‌پذیر، استخر ناهمگام با سقف هم‌روندی، شمارش روزهای کاری در طول سال‌ها، و کوتاه‌ترین مسیرِ کوچک‌ترین از نظر ترتیب واژه‌نامه‌ای.همهٔ درخواست‌ها در ۱۲ و ۱۳ اکتبر ۲۰۲۶ از درگاه ما گذشت. دو تلاش برای هر کار نمونهٔ کوچکی است؛ اختلاف چند مورد میان دو مدل می‌تواند نوسان عادی باشد. اما دور بی‌خطای Sol و باگ تکراری Astra نوسان نیست.
gpt-6.1-sol، تنها نمرهٔ کامل و کمترین هزینه.claude-opus-5-5، در چند ثانیه پاسخ می‌دهد؛ آن را همراه آزمون به کار ببرید چون بیشتر از همه جزئیات مشخصات را جا می‌اندازد.قیمت‌های فعلی: GPT-6.1 Sol · GPT-6 Astra · Claude Opus 5.5.
بدون اشتراک، بدون حداقل ماهانه، بدون تماس فروش. با USDT شارژ کنید و فقط به‌اندازهٔ مصرف بپردازید — 1 USDT برابر 2 اعتبار موجودی API است.
راهنمای 30 ثانیه‌ای شروع سریع را بخوانیدزبان: English · 简体中文 · 繁體中文 · 日本語 · 한국어 · Deutsch · Français · Español · Türkçe · Português · Italiano · Bahasa Indonesia · Tiếng Việt · Bahasa Melayu · Polski · Čeština · فارسی · Русский
قیمت‌های این صفحه به‌طور خودکار از داده‌های واقعی صورتحساب پر می‌شوند. شرایط اشخاص ثالث از مستندات خودشان نقل شده است.