Gemini 4 Argon·GPT-6 Astra·Claude Opus 5.5 벤치마크 읽는 법

Gemini 4 Argon이 모든 공개 코딩 벤치마크에서 선두인 것은 아닙니다. Google 비교에서는 DeepSWE v1.1 77.9%로 GPT-6 Astra와 Claude Opus 5.5보다 높지만, FrontierSWE v2는 55.0%로 두 모델보다 낮습니다. 같은 표의 Terminal-Bench 4.0에서는 Opus가 앞섭니다. 자신의 작업과 어떤 평가가 비슷한지, 어떤 조건으로 측정했는지가 더 중요한 질문입니다.

이 글은 2026년 10월 14일 확인한 공개 자료 분석이며 Ofox가 직접 수행한 모델 비교 실험이 아닙니다. Google 비교, 독립 기관의 이전 평가, 우리가 제안하는 검증 절차를 구분합니다. 다운로드 평가표의 빈칸은 모델 실행 결과가 아닙니다.

코딩 점수는 작업별로 비교하기

출처: Argon 모델 카드, Google 평가 방법. Google이 공개한 비교이며 우리가 세 모델을 동일한 평가 환경에서 실행한 결과가 아닙니다. DeepSWE와 Terminal-Bench는 Google의 Argon 측정과 타사 공개 순위·시스템 카드 수치를 결합합니다. 추론 설정과 평가 실행 환경의 차이는 비교 결과를 해석할 때 고려해야 할 한계입니다. FrontierSWE는 Google 방법 문서에서 공식 순위의 값을 인용합니다.

차이는 속도 향상률이 아니라 퍼센트포인트입니다. Argon은 DeepSWE에서 Astra보다 3.8포인트 높고 FrontierSWE에서는 10.5포인트 낮습니다. 어느 차이도 자신의 저장소에서 몇 분을 아낄지 예측하지 않습니다. 서로 다른 시험의 백분율을 평균해 새로운 종합 코딩 점수로 만들지 마세요.

긴 컨텍스트와 영상 점수는 다른 질문에 답한다

방법 문서는 Gemini에 1 FPS를 적용하고 다른 모델에는 다른 프레임 한도를 둡니다. GPT는 800프레임, Opus는 600프레임입니다. 따라서 영상 점수는 모델 행동과 입력 예산의 영향을 함께 받습니다. Argon을 시험할 이유는 되지만 자신의 영상 길이와 샘플링 방식에서 동일 조건의 정확도·비용 우위를 입증하지는 않습니다.

Argon의 통합 컨텍스트는 입력·추론·최종 출력을 합쳐 1,048,576토큰입니다. 긴 입력 시험이 가능하다는 뜻이지 업로드한 중요한 사실을 모두 정확하게 활용한다는 보장은 아닙니다. 저장소에서는 여러 파일에 흩어진 제약을 패치가 지키는지, 영상에서는 제시한 타임스탬프가 실제 영상의 해당 장면과 일치하는지, 조사에서는 결론마다 출처가 있는지 확인하세요. 유창한 답변만으로 합격 처리하면 안 됩니다.

독립 기관 Artificial Analysis가 추가한 근거

9월 30일 보고서는 Argon을 추론 high로 평가했고 Intelligence Index 53을 보고했습니다. 같은 보고서의 GPT-6 Astra max와 동점이며 GPT-6.1 Sol max는 52입니다. 설정도 결과의 일부입니다. 동점이라고 모든 추론 설정이나 허용 응답 시간 조건에서 동작이 같다는 뜻은 아닙니다.

Intelligence Index 평가에서 Argon은 프로모션 가격 기준 작업당 1.99달러로, Astra 3.26달러의 약 60%이지만 GPT-6.1 Sol의 2.7배였습니다. 일반 가격 추정치는 3.98달러입니다. 보고서의 평가 작업과 가정에 따른 비용이지 사용자 작업 하나의 보편적인 가격은 아닙니다. 비교에서 평균 출력은 Argon 약 62,000토큰, Astra 약 27,000토큰이므로 입출력 단가만으로 완료 작업 비용 순위를 매길 수 없습니다.

AA-Omniscience에서 Argon은 환각률 15%, 정확도 50%, Astra는 정확도 63%로 보고됐습니다. 낮은 환각률을 높은 정확도로 바꾸어 설명하면 안 됩니다. 답변 유보, 정답, 오답을 분리해야 합니다. 구매 기준으로 사용하기 전 Artificial Analysis 방법론을 확인하세요.

보고서의 AutomationBench-AA 78%와 Google 표의 AutomationBench 51.3%는 다른 지표입니다. 소셜 게시물이 모두 “자동화”로 줄여 써도 시험 이름, 문제 세트, 측정 방법을 구분해야 합니다.

첫 파일럿에서 무엇을 확인할까?

아래는 자료에서 도출한 검증 가설이며, 우리가 모델을 직접 실행해 내린 추천은 아닙니다.

실제 작업, 권한, 예산에 맞춰 선택합니다. 공개 점수는 실험 우선순위를 정하는 데 유용하지만 실험을 대체하지는 않습니다. 이용 조건 표를 먼저 확인해 계정이 쓸 수 없는 클라이언트에 시간을 낭비하지 마세요.

불합격도 기록하는 시험 설계

빈 평가표 CSV에 작업 ID, 입력·저장소 버전, 모델 설정, 사용량, 판정을 기록할 수 있습니다. 가상의 성능 결과는 넣지 않았습니다.

1. 평범한 사례와 실패하기 쉬운 사례를 포함해 대표적인 실제 작업을 소수 선택합니다. 비밀 정보를 제거하고 비공개 입력 사용 권한을 확인합니다. 공급자 데모만 고르지 마세요.
2. 입력 버전, 프롬프트, 도구, 허용 실행 시간을 고정합니다. 답변을 보기 전에 기대 동작, 테스트, 인용 요구, 금지 변경을 정합니다.
3. 정확한 모델 ID, 추론 설정, 클라이언트·SDK 버전, 재시도를 기록합니다. 한 모델에 더 많은 시간이나 다른 도구를 줬다면 동일 조건이라고 하지 말고 차이를 명시합니다.
4. 설명 대신 결과물을 평가합니다. 코드는 테스트와 diff 확인, 추출은 원본 셀 대조, 영상은 타임스탬프를 실제 장면과 대조합니다. 그럴듯한 설명이 잘못된 결과물을 보완해 주지는 않습니다.
5. 거절된 시도도 비용과 시간에 포함합니다. 같은 합격 기준을 세운 뒤 총비용을 합격 결과 수로 나눕니다. 합격이 없다면 오해를 부르는 평균 대신 합격 결과 없음으로 기록합니다.
6. 예상 밖 실패를 다시 실행하면 이유와 원래 결과를 남깁니다. 실패를 조용히 삭제하면 평가가 아니라 성공 사례 선별이 됩니다.

API 요금표로 프로모션과 12월 가격을 구분하고, 사람의 검토 시간은 토큰 비용과 별도로 기록합니다. 호출은 저렴해도 수정이 많이 필요하다면 더 나은 작업 흐름이 아닐 수 있습니다.

출시 발표의 생산성 수치를 그대로 예산에 쓰면 안 되는 이유

Google의 Antigravity 발표는 4주 내부 관찰에서 에이전트가 생성한 코드(원문 지표명: agentic code)가 35% 늘고 롤백이 30% 줄었다고 보고합니다. Google 내부 관찰이며 모든 팀의 효과를 추정한 무작위 비교가 아닙니다.

ADK Python 사례는 약 11시간 실행 후 패치 두 개를 채택하고 네 개를 거절했습니다. 검토가 여전히 필요하다는 근거이지 매번 밤새 자율 실행하면 병합 가능한 코드가 나온다는 증거가 아닙니다.

설명 가능한 선택을 하려면 출처와 날짜를 남기고, 실제 작업에 대응시켜 파일럿을 실행한 뒤 채택·거절 이유를 기록하세요. 공개 자료는 Argon을 유력 후보로 만들지만 모든 작업의 승자를 정하지는 않습니다.