Gemini 4 Neon·Claude Opus 5.5·GPT-6.2 Sol 비교: 벤치마크 조건과 작업당 비용까지 따져 보기
Google이 공개한 Neon·Opus 5.5·GPT-6.2 Sol 비교표를 하네스와 설정 표기까지 그대로 정리하고, 독립 기관의 비용·속도·환각 데이터, 공식 요금, 사용 가능한 곳, 작업별 선택 기준을 함께 다룹니다.
Google이 공개한 19행짜리 비교표에서 Gemini 4 Neon은 16개 행에서 1위, Claude Opus 5.5는 2개 행(Terminal-Bench 4.1, FrontierCode 2.0), GPT-6.2 Sol은 1개 행(Chartography)에서 1위입니다. 독립 기관인 Artificial Analysis의 데이터도 세 모델 중 Intelligence Index가 가장 높은 모델은 Neon(61 대 59 대 57)이며 환각률도 압도적으로 낮다는 점에서 일치합니다. 다만 벤더 표에는 없는 사실도 보여 줍니다. 같은 Index 작업을 Sol은 건당 약 1.01달러, 8.5분에 끝냈고, Neon은 6.44달러, 21.5분, Opus는 10.04달러, 24.5분이 걸렸습니다. 서류상으로는 Neon이 가장 강한 범용 모델입니다. Opus는 Google 표의 Terminal-Bench 4.1과 FrontierCode 2.0 행에서 근소하게 앞서지만, AA가 직접 실행한 Terminal-Bench 4.0에서는 세 모델 중 최하위입니다. Sol은 거의 모든 항목에서 몇 점씩 내주는 대신 저렴하고 빠른 선택지입니다.
이 글에서 다루는 내용:
- Google의 비교표를 행별 하네스, 사고 수준, 데이터 출처와 함께 다시 구성한 표(출처: Google의 평가 방법론 PDF(영어))
- 2026년 11월 19일에 직접 확인한 Artificial Analysis 수치(Index, 작업당 비용, 작업당 소요 시간, 환각)
- Google, Anthropic, OpenAI가 공개한 토큰당 공식 요금
- 현재 각 모델을 어디에서 호출할 수 있는지에 대한 정확한 정리
- Ofox에서 Opus 5.5와 Sol을 세 가지 코딩 작업으로 돌려 본 소규모 테스트
이 글은 Ofox가 발행했으며, Ofox는 Opus 5.5와 Sol을 제공하지만 Neon은 제공하지 않습니다. 벤치마크 행은 다른 곳에서 낸 결과이며 Ofox의 측정값이 아닙니다. Ofox가 직접 측정한 결과는 소규모 테스트 섹션에만 있으며, 그 테스트도 참고용일 뿐 모델 순위를 매기지는 않습니다.
Google 비교표: 표기를 모두 그대로 옮김
세 모델을 나란히 비교한 공식 자료는 2026년 11월 18일 공개된 Google의 Gemini 4 Neon 모델 카드(영어)가 유일합니다. 점수만큼 중요한 것이 평가 방법론 PDF입니다. 여기에는 Neon을 “with the highest thinking settings unless indicated otherwise”(별도 표시가 없으면 가장 높은 사고 설정으로) 실행했다고 적혀 있으며, 이는 xhigh를 뜻합니다. Opus 5.5와 GPT-6.2 Sol의 경우 Google은 사용 가능한 최대 추론 설정의 결과를, 최대 설정 결과가 공개되지 않은 경우에는 구할 수 있는 최고 결과를 실었습니다. 행에 따로 적혀 있지 않으면 경쟁 모델의 수치는 Anthropic과 OpenAI의 자체 발표값입니다. Google이 직접 실행한 것이 아닙니다.
| 분야 | 벤치마크(설정) | Neon | Opus 5.5 | GPT-6.2 Sol | 행 1위 | 수치를 낸 곳 |
|---|---|---|---|---|---|---|
| Index | AA Index v5.0.1 | 61 | 59 | 57 | Neon | Artificial Analysis |
| Index | Vals Index v2.2 | 70.9% | 70.1% | 66.1% | Neon | Vals AI |
| 에이전트 코딩 | CursorBench 4.1 | 65.4% | 58.1% | — | Neon | Cursor |
| 에이전트 코딩 | Terminal-Bench 4.1, cheating-adjusted accuracy | 65.2% | 65.8% | 61.5% | Opus | Neon: Artificial Analysis(Antigravity-CLI 1.5.9), 나머지: 공개 리더보드 |
| 에이전트 코딩 | FrontierCode 2.0, main score | 46.2% | 47.3% | 43.8% | Opus | 공개 리더보드. Neon은 xhigh가 아닌 high |
| 에이전트 코딩 | SWE-sweep, provider harness | 39.0% | 10.1% | 8.3% | Neon | Google 자체 산출: Antigravity-CLI 1.5.9 / Claude Code / Codex |
| 에이전트 코딩 | SWE-sweep, Mini-SWE harness | 12.8% | 3.6% | 11.6% | Neon | Google 자체 산출, mini-swe-agent vision harness |
| 지식 업무 | AutomationBench | 56.3% | 42.5% | 41.3% | Neon | 공개 리더보드 |
| 지식 업무 | Agents’ Last Exam v1.1 | 75.8% | 71.6% | 73.0% | Neon | Neon: Google, Antigravity-CLI 1.4.8, 5시간 제한. Sol: OpenAI 시스템 카드. Opus: 리더보드 |
| 과학·수학 | RiemannBench | 84.0% | 80.0% | 80.0% | Neon | 공개 리더보드 |
| 과학·수학 | Terminal-Bench-Science 0.1 | 70.5% | 63.3% | 68.0% | Neon | Neon: Google, mini-swe-agent vision harness, 5회 시도 평균. 나머지: 리더보드 |
| 추론 | HLE-Diamond | 71.3% | 67.9% | 64.0% | Neon | Artificial Analysis |
| 멀티모달 | MKA, Climb WSR | 56.5% | 53.0% | 52.7% | Neon | Artificial Analysis |
| 멀티모달 | Chartography | 73.5% | 66.3% | 75.1% | Sol | Neon과 Sol: Google, 도구 없음. Opus: Anthropic 시스템 카드 |
| 멀티모달 | LVBench | 89.0% | 83.7% | 87.6% | Neon | Google. 모델마다 프레임 예산이 다름 |
| 긴 컨텍스트 | GraphWalks, 256k–1M BFS (F1) | 95.2% | 66.8% | 80.1% | Neon | Google 자체 산출, 200문항 |
| 사이버보안 | CWE-Bench v2 | 70.7% | 67.1% | 66.0% | Neon | 공개 리더보드(Collinear) |
| 사이버보안 | SEC-bench Pro | 90.5% | — | 88.3% | Neon | Neon: Google, Antigravity 하네스. Sol: OpenAI 보고서 |
| 사이버보안 | WebExploitBench v1.2 | 51.3% | 37.1% | — | Neon | Google 자체 평가, AgentCyberRange 검증 |
출처: Neon 모델 카드(영어), 평가 방법론(영어). 둘 다 2026년 11월 19일에 확인했습니다. 대시(—)는 Google이 해당 모델의 수치를 공개하지 않았다는 뜻이며, 0점이라는 뜻이 아닙니다.
Neon의 우위가 확실한 행과 근소한 행
몇몇 행은 다시 실행하면 순위가 뒤집힐 수 있을 만큼 차이가 작습니다. Vals Index에서 Neon은 Opus보다 0.8점, Agents’ Last Exam에서는 Sol보다 2.8점 앞섭니다. Terminal-Bench 4.1에서는 Neon이 Opus보다 뒤지지만 차이는 0.6점에 불과합니다. 에이전트 벤치마크에서 약 2점 미만의 차이는 하네스 버전, 재시도, 타임아웃만으로도 움직일 수 있는 범위입니다. 계획을 세울 때는 이 행들을 무승부로 보는 것이 좋습니다.
Neon의 우위가 가장 큰 곳은 GraphWalks(Neon 95.2%, Sol 80.1%, Opus 66.8%), AutomationBench(약 14점 차), CursorBench(Opus보다 7.3점 높음), 그리고 provider harness 조건의 SWE-sweep 행입니다. 마지막 행은 가장 주의해서 읽어야 합니다.
SWE-sweep 39.0%는 주로 하네스가 만든 결과입니다
Google은 SWE-sweep을 두 가지 조건으로 실행했습니다. provider harness 행에서는 각 모델이 자기 벤더의 에이전트를 사용했습니다. Neon은 Antigravity-CLI, Opus는 Claude Code, Sol은 Codex입니다. Google 방법론에 따르면 공개된 Antigravity-CLI에는 코드베이스 전체로 탐색을 병렬로 펼치는 서브에이전트 도구가 기본 포함되어 있으며, Google은 이를 “particularly suited to bug finding tasks like SWE-sweep”(SWE-sweep 같은 버그 찾기 작업에 특히 적합하다)이라고 설명합니다.
Neon은 이 조건에서 39.0%, 공통 Mini-SWE 하네스에서는 12.8%를 기록했습니다. Opus는 Claude Code에서 10.1%였지만 Mini-SWE에서는 3.6%로 떨어집니다. Sol은 반대로 움직여, Codex에서 8.3%, Mini-SWE에서 11.6%입니다. Google 발표문도 Neon의 점수가 Antigravity에서 “more than triples”(3배 이상이 된다)라고 적고 있습니다. 따라서 39.0%는 Google의 에이전트 제품 안에서 실행한 Neon의 수치입니다. 모델 자체가 경쟁 모델보다 3~4배 강하다는 뜻이 아닙니다. 조건을 맞춘 Mini-SWE 행에서 Neon이 Sol보다 앞서는 폭은 1.2점입니다.
행을 읽는 방식을 바꾸는 표기가 두 가지 더 있습니다. FrontierCode는 Neon을 xhigh가 아니라 기본값인 high로 채점했습니다. Terminal-Bench는 세 모델 모두 cheating-adjusted(부정행위 보정) 정확도로 보고되었는데, 방법론에는 이 보정에 대한 자세한 정의가 없습니다. Google 발표에 따르면 Terminal-Bench 4.0에서 Neon의 부정행위 비율은 0.0%입니다. LVBench 행도 모델마다 입력이 달랐습니다. Gemini는 저해상도로 초당 1프레임, Sol은 500프레임, Opus는 600프레임이었으며, 모두 “due to API limitations”(API 제약 때문에)라고 설명되어 있습니다.
벤더 비교표를 볼 때 일반적으로 주의할 점
- 비교 대상은 벤더가 골랐습니다. Google은 Neon을 Opus 5.5, GPT-6.2 Sol과 비교했습니다. Claude Fable 5.2와 GPT-6.2 Astra는 빠졌는데, 두 모델은 100만 토큰당 8달러/40달러이고 Artificial Analysis Intelligence Index에서 Neon보다 높은 점수를 받았습니다(11월 19일 최고 설정 기준 64.6과 62.1). 이 표로 알 수 있는 것은 같은 가격대 모델과 비교한 Neon의 위치입니다. 최상위권 안에서의 위치는 알 수 없습니다.
- 출처가 다른 수치가 한 열에 섞여 있습니다. 어떤 칸은 Google이 직접 실행한 결과이고, 어떤 칸은 경쟁사 시스템 카드에서 옮겨 온 것입니다. 후자는 하드웨어, 프롬프트, 실행 시점이 다릅니다.
- 설정이 통일되어 있지 않습니다. Neon은 대부분의 행에서
xhigh, 경쟁 모델은 보고된 최대 설정이 있으면 그 설정, 그리고 FrontierCode에서 Neon은high입니다. - 벤치마크는 학습이 끝난 뒤에 골랐습니다. 출시 때 공개되는 표에는 벤더가 공개하기로 한 벤치마크만 실립니다. 빠진 벤치마크의 결과는 표로 알 수 없습니다.
그렇다고 표가 틀렸다는 뜻은 아닙니다. 무엇을 테스트할지 정하는 데 쓰고, 최종 답으로 받아들이지는 말라는 뜻입니다.
독립 데이터가 더해 주는 것: 비용, 시간, 환각
Artificial Analysis(AA)는 모든 모델을 같은 하네스로 실행하고, 모델 카드에는 없는 작업당 비용과 시간을 공개합니다. Ofox는 Neon, Opus 5.5, GPT-6.2 Sol 페이지와 AA-Omniscience 평가(모두 영어)를 2026년 11월 19일 03:20 UTC 무렵에 확인했습니다. AA는 이 페이지들을 갱신하므로, 결정을 내리기 전에 다시 확인하세요.
| AA 지표(최상위 추론 설정) | Neon(xhigh) | Opus 5.5(max) | GPT-6.2 Sol(max) |
|---|---|---|---|
| Intelligence Index v5.0.1 | 61.4 | 59.1 | 57.3 |
| Intelligence Index 작업 1건당 비용 | $6.44 | $10.04 | $1.01 |
| 작업 1건당 소요 시간 | 21.5분 | 24.5분 | 8.5분 |
| 작업 1건당 출력 토큰(추론 + 답변) | 약 142k | 약 173k | 약 40k |
| 첫 답변 토큰까지 걸린 시간 | 56.5초 | 335.8초 | 75.1초 |
| Terminal-Bench 4.0(AA 실행) | 63.6% | 59.6% | 60.1% |
| FrontierCode 2.0(AA 실행) | 44.4% | 46.4% | 44.4% |
| AA-Omniscience 정확도 | 60.5% | 65.5% | 61.6% |
| AA-Omniscience 환각률 | 14.4% | 50.3% | 55.4% |
| AA-Omniscience 답변 시도율 | 67.5% | 86.7% | 85.4% |
| HLE-Diamond | 71.3% | 67.9% | 64.0% |
세 열의 설정은 서로 다릅니다. Neon은 xhigh, 나머지 두 모델은 max입니다. 설정을 낮추면 점수도 비용도 내려갑니다. 기본값 high의 Neon에 대해 AA 데이터는 Index 59.6, 작업당 3.74달러와 14.8분, 환각률 13.9%를 보여 줍니다. 이 경우에도 Index는 max 설정의 Sol보다 높고, 작업당 비용은 여전히 Sol의 3배가 넘습니다. AA는 Opus의 xhigh를 57.4(작업당 6.05달러, 16.1분), Sol의 high를 54.9(작업당 0.56달러, 4.6분)로 표시합니다. Anthropic 문서에 따르면 Opus 5.5의 기본 effort는 medium이며, medium에서 AA는 Opus에 Index 48.2, 작업당 2.45달러를 기록합니다.
눈에 띄는 결과는 세 가지입니다.
- 토큰 단가 비율로는 작업당 비용 차이를 과소평가하게 됩니다. Opus의 토큰당 정가는 Sol의 2배이지만, AA 작업당 비용은 약 10배였습니다. 출력 토큰도 약 4배 많았습니다. Neon의 정가는 Sol의 1.5배이고, 작업당 비용은 약 6.4배입니다. 요금표의 단가보다 모델이 쓰는 토큰 수가 더 중요합니다.
- 환각률이 낮다고 정확도가 높은 것은 아닙니다. AA는 환각률을 오답 수를 정답이 아닌 모든 응답 수로 나눈 값으로 정의합니다. Neon이 가장 낮은(14.4%) 주된 이유는 답변을 더 자주 거절하기 때문입니다. Neon은 질문의 67.5%에 답을 시도했고, 다른 두 모델은 약 86%였습니다. 정확도가 가장 높은 모델은 Opus(65.5%)이지만, Opus는 모를 때도 추측해서 답합니다. 오답이 “모르겠습니다”보다 더 큰 손해라면 Neon의 특성이 낫습니다. 커버리지가 더 중요하다면 Opus가 더 많은 질문에 정확히 답합니다.
- Sol의 속도 우위는 큽니다. 작업당 시간이 다른 두 모델의 절반도 되지 않으며, 첫 답변 토큰도 336초가 걸린 max 설정의 Opus보다 훨씬 빨리 나왔습니다.
AA의 자체 코딩 평가는 Google이 내세우는 코딩 성능 이야기를 양쪽 방향으로 복잡하게 만듭니다. AA의 FrontierCode 2.0에서는 Opus가 46.4%로 1위이고 Neon과 Sol은 둘 다 44.4%여서, Google 표와 마찬가지로 Opus가 1위입니다. 반면 AA의 Terminal-Bench 4.0에서는 Neon이 63.6%로 1위이고 Opus는 59.6%로 Sol의 60.1%에도 뒤진 최하위입니다. 이는 Google 표의 Terminal-Bench 4.1 행과 정반대 결과이므로, 터미널 작업에서 Opus의 우위는 어떤 벤치마크 버전과 하네스를 보느냐에 따라 달라집니다. 또한 Google 발표에는 Neon이 AA Coding Agent Index에서 58.6으로 종합 1위라고 적혀 있습니다. 이는 Google의 주장입니다. 확인한 AA 페이지에는 모델별 Coding Agent Index 값이 나와 있지 않아 Ofox는 이를 검증하지 않았습니다.
토큰당 공식 요금
모든 요금은 Standard 등급, 100만 토큰당 미국 달러 기준이며 2026년 11월 19일에 확인했습니다. 각 제공사의 자체 가격입니다. Ofox 가격은 각 Ofox 모델 페이지에 나와 있으므로 여기서 반복하지 않습니다.
| Gemini 4 Neon | Claude Opus 5.5 | GPT-6.2 Sol | |
|---|---|---|---|
| 입력 | $3.00 | $4.00 | $2.00 |
| 출력(사고 포함) | $15.00 | $20.00 | $10.00 |
| 캐시 입력 | $0.15(암시적 캐싱만) | 캐시 히트 $0.20 | $0.10 |
| 캐시 쓰기 | 별도 표기 없음 | $5(5분), $8(1시간) | $2.50(30분), $5(12시간) |
| 매우 긴 프롬프트 | 1M 창 전체에 단일 요금 | 1M 창 전체에 표준 요금 | 입력 272K 초과 시 입력·캐시 요금 ×2, 출력 ×1.5 |
| Batch | $1.50 / $7.50(Flex도 동일) | 50% 할인: $2 / $10 | 50% 할인: $1 / $5 |
| 무료 등급 | 없음 | — | — |
| 출처 | Gemini API 요금(영어) | Anthropic 요금(영어) | GPT-6.2 Sol 모델 페이지(영어) |
토큰 단가만으로는 부족한 이유를 간단한 계산으로 확인할 수 있습니다. 캐시 없이 입력 50,000토큰, 출력 10,000토큰인 요청 하나를 보낸다고 가정해 보겠습니다. 정가 기준으로 Neon은 0.30달러, Opus는 0.40달러, Sol은 0.20달러입니다. 하지만 같은 텍스트라도 모델마다 토큰 수가 다릅니다. 아래 소규모 테스트에서 똑같은 프롬프트가 Opus에서는 입력 139토큰, Sol에서는 98토큰이었습니다. 출력 길이도 모델마다 다릅니다. 청구액을 비교하기 전에 모델별로 직접 토큰 수를 측정하세요. 캐싱과 사고 수준은 Claude Opus 5.5 요금 가이드와 Gemini 4 Neon 요금 분석에서 더 자세히 다룹니다.
Neon의 $3/$15 요금은 Gemini 제품군 안에서도 의미가 있습니다. Carbon과 Argon은 2026년 12월 1일에 $2/$10에서 $4/$20으로 오르며, 그 이후에는 Neon이 두 모델보다 저렴해집니다. 12월 요금 변경이 의미하는 것과 Neon과 Carbon 비교를 참고하세요.
각 모델을 실제로 사용할 수 있는 곳
| Gemini 4 Neon | Claude Opus 5.5 | GPT-6.2 Sol | |
|---|---|---|---|
| API 모델 ID | gemini-4-neon | claude-opus-5-5 | gpt-6.2-sol |
| API 제공 상태 | Gemini API 유료 등급(generateContent와 Interactions API) | Claude API, Bedrock, Google Cloud, Microsoft Foundry | 2026년 11월 17일부터 OpenAI API 제공, Responses API와 Chat Completions |
| 일반 사용자용 앱·IDE | Gemini 앱(AI Pro, Ultra), AI Studio, Google Antigravity(유료 Pro, Ultra), Gemini for business | Claude 앱, Claude Code(사용 조건과 한도) | ChatGPT Work와 Codex 데스크톱에서 프리뷰(Plus, Pro. 관리형 워크스페이스는 시트 설정에 따름). 일반 Chat에는 없음 |
| Ofox 제공 여부(2026년 11월 19일 확인) | 없음 | 있음: anthropic/claude-opus-5.5 | 있음: openai/gpt-6.2-sol |
| 컨텍스트 창 | 1,048,576토큰(입력과 출력 합산) | 1M | 1,050,000(최대 입력 922K) |
| 최대 출력 | 동기 처리 기본 64K, long decode 사용 시 최대 1M | 128K(베타 헤더를 넣은 Batch에서 300K) | 128K |
| 입력 형식 | 텍스트, 이미지, 오디오, 동영상 | 텍스트, 이미지 | 텍스트, 이미지 |
| 지식 기준 시점 | 2026년 3월 | 2026년 6월(신뢰 가능 범위) | 2026년 6월 1일 |
GPT-6.2 Sol의 ‘프리뷰’ 표기가 뜻하는 것. 2026년 11월 17일 자 OpenAI ChatGPT 릴리스 노트(영어)에는 GPT-6.2 Astra와 Sol이 “available in preview in Work and Codex desktop”(Work와 Codex 데스크톱에서 프리뷰로 제공)이며 “Regular Chat keeps its existing model choices.”(일반 Chat은 기존 모델 선택을 유지)라고 적혀 있습니다. 이 프리뷰 표기는 ChatGPT에 해당합니다. 개발자 쪽에서는 OpenAI API 변경 기록(영어)에 gpt-6.2-sol이 11월 17일 Responses API와 Chat Completions용으로 출시되었다고 나와 있습니다. 모델 페이지에는 Build부터 Grow까지 사용 등급별 요금과 레이트 리밋이 공개되어 있고, 어느 것에도 프리뷰 표기가 없습니다. 실무에서는 다음과 같습니다.
- 지금 바로 API로 개발할 수 있습니다.
- 도구 호출에는 Responses API가 필요합니다.
- API는
reasoning.effort: none을 거부합니다. - ChatGPT에서는 Work와 Codex의 모델 선택기에서만 Sol이 보입니다.
GPT-6 Sol에서 넘어오는 경우 Responses 도구 호출 마이그레이션 메모가 그대로 적용됩니다.
Ofox에서의 Neon. 2026년 11월 19일 기준 google/gemini-4-neon은 GET https://api.ofox.io/v1/models 결과에 없었고, https://ofox.io/models/google/gemini-4-neon은 404를 반환했습니다. Neon을 쓰려면 Google을 직접 호출하세요. 설정 방법은 Neon API 가이드에서 다룹니다. Ofox에서는 현재 Gemini 네이티브 엔드포인트를 통해 Gemini 4 Hydrogen과 Argon을 사용할 수 있습니다.
소규모 테스트: 세 가지 코딩 작업으로 Opus 5.5와 Sol 비교
이 글에서 Ofox가 직접 측정한 부분은 이 섹션뿐이며, 참고용입니다. 쉬운 작업 세 개를 두 번씩 돌린 결과로는 두 프런티어 모델의 순위를 매길 수 없고, 실제로 두 모델 모두 모든 테스트를 통과했습니다. 그래도 싣는 이유는 AA 비용 데이터가 시사하는 출력량과 지연 시간의 차이를 누구나 재현할 수 있는 규모로 보여 주기 때문입니다.
설정(2026년 11월 19일):
- 엔드포인트: Ofox
https://api.ofox.io/v1/chat/completions - 모델:
anthropic/claude-opus-5.5,openai/gpt-6.2-sol - 파라미터:
max_tokens: 16000. 추론이나 effort 파라미터는 보내지 않았으므로 각 모델은 라우트 기본값으로 실행되었습니다.
작업:
- T1: 페이지네이션의 off-by-one 버그를 고치고 입력 검증 추가
- T2: 잘못된 입력 9가지를 포함한 엄격한 명세에 따라
parse_duration("1h30m")작성 - T3: 시계를 주입할 수 있는
TokenBucket구현
각 답변은 로컬에서 실행한 비공개 단위 테스트(각각 5개, 16개, 5개 케이스)로 채점했습니다. 호출은 총 12회로, 작업과 모델 조합마다 2회씩입니다.
| 작업 | 통과한 테스트(두 번 모두) | Opus 5.5 지연 시간 | Sol 지연 시간 | Opus 출력 토큰 | Sol 출력 토큰 |
|---|---|---|---|---|---|
| T1 페이지네이션 수정 | 두 모델 모두 5/5, 5/5 | 3.4 / 3.9초 | 3.5 / 3.1초 | 142 / 142 | 184 / 181 |
| T2 기간 문자열 파서 | 두 모델 모두 16/16 | 6.2 / 5.9초 | 2.5 / 2.4초 | 471 / 438 | 119 / 117 |
| T3 토큰 버킷 | 두 모델 모두 5/5 | 9.0 / 8.6초 | 2.7 / 3.6초 | 656 / 756 | 253 / 268 |
합계는 Opus가 입력 1,136토큰과 출력 2,605토큰, Sol이 입력 804토큰과 출력 1,122토큰입니다. 각 제공사의 정가 기준으로 여섯 번의 호출 전체에 Opus는 약 0.057달러, Sol은 약 0.013달러입니다. 이 금액은 Ofox의 계산이며 Ofox 청구서 금액이 아닙니다. 지연 시간 중앙값은 Opus 6.0초, Sol 2.9초였습니다.
통과 여부 외에 관찰한 점:
- T3에서 Opus는 명세보다 더 많이 구현했습니다. 두 번 모두
threading.Lock,capacity프로퍼티,clock이 호출 가능한지 확인하는 검사를 추가했습니다. 모두 요청하지 않은 것입니다. 락은 프로덕션에서는 합리적인 선택이지만 검토할 범위가 늘어납니다. Sol은 요청한 인터페이스만 정확히 구현했습니다. - 쉬운 버그 수정(T1)에서는 Sol이 약간 더 많이 썼습니다. 슬라이싱이 이미 처리하는
start >= len(items)조기 반환을 명시적으로 추가했습니다. 양쪽 모두 차이는 작았습니다. - 같은 프롬프트라도 입력 토큰 수가 달랐습니다. Opus는 139
234토큰, Sol은 98153토큰으로 Opus가 약 40% 많았습니다. 긴 프롬프트에서 토큰 단가를 비교할 때 영향을 줍니다.
이 테스트로 알 수 없는 것: Ofox에 없는 Neon에 관한 내용, Opus의 벤치마크 우위가 의미를 갖는 어려운 다중 파일 작업, 여러 번 실행했을 때의 안정성입니다. 스크립트, 프롬프트, 테스트, 원본 응답(키는 가림)은 보고서와 함께 보관하고 있어 테스트를 다시 실행할 수 있습니다. Ofox를 통해 직접 비교하려면 통합 문서에서 Claude Code, Codex, Cursor 등 클라이언트 설정을 확인하세요.
세 모델 호출하기
Ofox에서는 OpenAI 호환 클라이언트 하나로 Opus 5.5와 Sol을 모두 호출할 수 있습니다. Opus 5.5 모델 페이지에는 openai와 anthropic 프로토콜이 모두, Sol에는 openai가 표시되어 있습니다.
from openai import OpenAI
import os, time
client = OpenAI(base_url="https://api.ofox.io/v1", api_key=os.environ["OFOX_API_KEY"])
for model in ["anthropic/claude-opus-5.5", "openai/gpt-6.2-sol"]:
t = time.time()
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write parse_duration('1h30m') -> 5400 in Python. Code only."}],
max_tokens=16000,
)
print(model, round(time.time() - t, 1), "s", r.usage)
Neon은 Google 네이티브 API로 호출합니다. 다음 예시는 Google의 Neon 가이드를 따른 것입니다.
from google import genai
client = genai.Client() # GEMINI_API_KEY를 읽음. Neon은 유료 등급 필요
interaction = client.interactions.create(
model="gemini-4-neon",
input="Write parse_duration('1h30m') -> 5400 in Python. Code only.",
)
print(interaction.output_text)
자주 발생하는 오류:
- 모델을 찾을 수 없음. Ofox에서는 벤더 접두사를 포함한 전체 ID를 사용하세요. OpenAI에서는 계정과 SDK에서
gpt-6.2-sol이 보이는지 확인하세요. model-not-found 문제 해결(영어)을 참고하세요. - 429 또는 529. 높은 effort로 Opus를 쓰는 긴 에이전트 실행은 레이트 리밋과 과부하 한도에 더 자주 걸립니다. 429 재시도 가이드(영어)와 Claude 529 해결 방법(영어)에 따라 백오프하세요. Ofox 자체 한도는 레이트 리밋 문서에, 응답 코드는 오류 처리 가이드에 정리되어 있습니다.
- 무료 등급에서 Neon이 4xx를 반환함. Neon에는 무료 등급이 없습니다. 다른 Gemini 4 모델의 오류는 Gemini 4 Argon API 오류에서 다루며, 그중 상당수는 Neon에도 적용됩니다.
작업별 모델 선택
아래는 근거에 기반한 출발점이며 측정으로 정한 순위가 아닙니다. 각 행에 어떤 근거에 기댔는지 적었습니다.
| 작업 | 먼저 써 볼 모델 | 이유 | 근거 |
|---|---|---|---|
| 몇 점 차이가 중요한 어려운 다중 파일 소프트웨어 작업 | Opus 5.5(Neon도 테스트) | Google 표와 AA 실행 모두에서 FrontierCode 2.0 1위. Google 표의 Terminal-Bench 4.1에서도 1위지만 AA의 Terminal-Bench 4.0에서는 최하위 | Google 표와 AA(결과 엇갈림) |
| Google 도구 안에서 대형 저장소의 버그 찾기 | Antigravity에서의 Neon | Google 서브에이전트 하네스로 SWE-sweep 39.0%. Mini-SWE에서는 우위가 대부분 사라짐 | Google 표(하네스 의존) |
| 대량 코딩 에이전트, CI 수정, 일상적인 PR | Sol | AA 작업당 비용이 Neon의 약 1/6, Opus의 약 1/10이고 시간은 절반 미만. AA Intelligence Index는 57(나머지는 59와 61) | AA와 Ofox 소규모 테스트 |
| 긴 컨텍스트 분석(256K~1M 토큰) | Neon | GraphWalks 95.2%(나머지는 80.1%와 66.8%). Sol은 입력 272K 초과 시 요금 상승 | Google 표(자체 산출)와 요금 페이지 |
| 오답 비용이 큰 리서치·지식 업무 | Neon | 환각률 14.4%(나머지는 50% 이상). 답변 거절은 더 많아질 수 있음 | AA-Omniscience |
| 커버리지가 가장 중요한 지식 Q&A | Opus 5.5 | AA-Omniscience 정확도 최고 65.5% | AA-Omniscience |
| 차트와 정보가 빽빽한 그림 읽기 | Sol 또는 Neon | Chartography에서 Sol이 75.1%로 1위, Neon 73.5%. Opus는 66.3% | Google 표 |
| 오디오·동영상 입력 | Neon | 세 모델 중 오디오와 동영상을 받는 유일한 모델 | 공식 모델 문서 |
| 업무 워크플로 자동화 | Neon | AutomationBench 56.3%(나머지는 약 42%) | Google을 통한 공개 리더보드 |
| 게이트웨이 하나, 키 하나로 쓰고 싶을 때 | Opus 5.5 또는 Sol | 둘 다 Ofox에서 제공. Neon은 미제공 | Ofox 모델 목록(2026년 11월 19일) |
각 모델의 약점
Gemini 4 Neon
- Google 표의 Terminal-Bench 4.1과 FrontierCode 2.0, AA 실행의 FrontierCode에서 Opus에 근소하게 뒤처집니다.
- 답변을 거절하는 질문이 많아 AA-Omniscience 정확도가 Opus보다 낮습니다.
- 대표 지표인 SWE-sweep 점수는 Google의 하네스에 의존합니다.
xhigh에서는 AA 워크로드 기준 작업 1건에 약 21분, 약 6.44달러가 듭니다.- 지식 기준 시점이 세 모델 중 가장 오래되었습니다(2026년 3월).
- 무료 등급이 없고 Ofox에서 사용할 수 없습니다.
Claude Opus 5.5
- max 설정에서 AA 작업당 비용이 가장 높고 가장 느립니다(10.04달러, 24.5분, 첫 답변 토큰까지 336초).
- Google 표의 Terminal-Bench 4.1에서는 1위지만, AA의 Terminal-Bench 4.0에서는 세 모델 중 최하위(59.6%)입니다.
- GraphWalks 긴 컨텍스트(66.8%), Chartography(66.3%), Mini-SWE 조건의 SWE-sweep(3.6%)에서 세 모델 중 가장 약합니다.
- 환각률이 약 50%입니다.
- 오디오와 동영상 입력을 지원하지 않습니다.
- Ofox 소규모 테스트에서 요청하지 않은 범위까지 구현을 늘렸습니다.
GPT-6.2 Sol
- AA Intelligence Index가 세 모델 중 가장 낮습니다(57).
- 환각률이 가장 높습니다(55.4%).
- Google 표의 Terminal-Bench 4.1, FrontierCode, Vals, HLE-Diamond에서 세 모델 중 최하위입니다.
- 272K 토큰을 넘는 입력에는 더 높은 요금이 적용됩니다.
- Google은 Sol의 CursorBench와 WebExploitBench 수치를 공개하지 않았습니다.
- ChatGPT에서는 아직 프리뷰이며 Work와 Codex로 한정됩니다.
어떤 모델부터 테스트할지는 Google 표로 정하고, 비용·속도·환각은 Artificial Analysis로 확인하세요. 최종 결정은 직접 수행하는 작업에서 얻은 통과율로 내려야 합니다. 이 세 모델보다 위아래 등급의 모델은 Gemini 4 모델 선택 가이드, 앞서 다룬 GPT-6 Sol과 Claude Opus 5.5 코딩 비용 비교, 복잡한 코딩에서 Claude Opus 5.5와 GPT-6 Astra 비교를 참고하세요.
관련 문서
자주 묻는 질문
- GPT-6.2 Sol은 아직 프리뷰인가요?
- ChatGPT 안에서만 프리뷰입니다. 2026년 11월 17일 자 OpenAI ChatGPT 릴리스 노트에 따르면 GPT-6.2 Astra와 Sol은 ChatGPT Work와 Codex 데스크톱에서 프리뷰로 제공되며, 일반 Chat은 기존 모델을 그대로 유지합니다. OpenAI API 변경 기록에는 gpt-6.2-sol이 같은 날 Responses API와 Chat Completions용으로 출시되었다고 나와 있고, 요금과 레이트 리밋도 공개되어 있으며 프리뷰 표기는 없습니다.
- Ofox를 통해 Gemini 4 Neon을 호출할 수 있나요?
- 2026년 11월 19일 기준으로는 호출할 수 없습니다. google/gemini-4-neon은 Ofox 모델 목록에 없고 Ofox 모델 페이지도 없습니다. Gemini API 유료 등급을 직접 사용하세요. Claude Opus 5.5와 GPT-6.2 Sol은 모두 Ofox에서 사용할 수 있습니다.


