Gemini 4のハルシネーション率4.3%は何を意味する?Argonのhigh設定の値で、既定では15.4%

よく引用されるGemini 4 Argonのハルシネーション率4.3%はhighの思考レベルの値で、既定のmediumでは15.4%です。Gemini 4全レベルとClaude・GPTのAA-Omniscienceの数値、その分母、回答を控えるほうが有利になる条件を整理します。

種類が確かめられた茶色のキノコが入った柳のかご。判別できない白っぽいキノコが1本だけ石の上に分けて置かれ、小さなオレンジ色の札が付けられている。

広く引用されている4.3%は、Gemini 4 Argonのhigh思考レベルにおけるAA-Omniscienceのハルシネーション率で、既定設定の値ではありません。Argonの既定はmediumで、Artificial Analysis(AA)はこのレベルで15.4%と測定しています。また、4.3%は「4%の確率で間違える」という意味でもありません。AAは誤答数を、モデルが正解できなかった問題の数で割っています。そのためhighのArgonは、全問題のうち約2%で誤答し、48%で正解し、約半分で回答を控えて(または部分的な回答にとどめて)います。

AAが掲載するGemini 4の13構成すべてで、ハルシネーション率は4.2%(既定のmediumのCarbon)から19.8%(Carbon low)までの範囲にあります。Claude 5.5ファミリー、Claude Fable 5.2、GPT-6.xの各モデルは34%から85%です。Gemini 4の率が低いのは、知識が多いからではなく、主に分からないときに回答を控えるからです。Claude Fable 5.2はmaxで79.1%に正解し、highのArgonは48.3%です。したがって、どちらが「信頼できる」かは、誤答のコストが「分かりません」と比べてどれだけ大きいかで決まります。以下では、Gemini 4の全レベル、ClaudeとGPTの比較対象8モデル、それぞれのトレードオフが逆転するコスト比、そしてOfox経由で実施した小規模なテストを順に見ていきます。

出典と日付:

  • AAのデータ:2026年11月19日に各モデルのAAページから取得(元のページと抽出データは記事のエビデンスフォルダーに保存)。
  • Googleの記述:Gemini 4の各モデルカード、AI Studioの「what’s new」ページ、Neonの発表記事。2026年11月19日に確認し、ベンダー提供データとして扱います。
  • 私たちのテスト:6モデル、20問、各1回、2026年11月19日。参考用の例であり、ベンチマークではありません。

この記事はOfoxが公開しています。ここで取り上げるモデルのすべてがOfox経由で呼び出せるわけではありません。2026年11月19日時点で、Gemini 4 ArgonとHydrogenはOfoxで利用でき、Gemini 4 CarbonとNeonは利用できません。表に出てくるClaudeとGPTのモデルはすべてOfoxで利用できます。

AA-Omniscienceが測っているもの

AA-Omniscience v1.1はクローズドブック形式の知識テストです。42トピックにわたる3,000問で、ビジネス、人文・社会科学、健康、法律、ソフトウェアエンジニアリング、科学・工学・数学を扱います。モデルはツールを使わず、自身の知識だけで回答します。採点モデル(AAによればmediumのGPT-5.6 Luna)が各回答をCORRECT、INCORRECT、PARTIAL_ANSWER、NOT_ATTEMPTEDの4種類のいずれかに分類します。AAの方法論ページと評価ページは、これらのラベルをもとに3つの指標を定義しています。

AAの指標計算式分かること
正答率(Accuracy)正解 ÷ 全問題モデルがどれだけ知っていて、正しく答えられるか
ハルシネーション率(Hallucination rate)誤答 ÷(誤答 + 部分回答 + 未回答)正解できなかったとき、回答を控えずに誤った答えを出す割合
Net Score(別名Omniscience Index、−100〜100)(正解 − 誤答)÷ 全問題 × 100(私たちによる言い換え)正解で1点、誤答で1点減点。未回答と部分回答は0点

正答率とハルシネーション率の計算式はAAが直接明記しています。Net Scoreについては、AAは “rewards correct answers, penalizes hallucinations, and has no penalty for refusing to answer”(訳:正解を加点し、ハルシネーションを減点し、回答拒否にはペナルティを課さない)と説明しています。表の計算式は私たちによる言い換えで、下で検証しています。

ハルシネーション率は、正解した問題をすべて無視します。90%に正解し、残り10%で誤った推測をするモデルのハルシネーション率は100%です。40%に正解し、残りはすべて回答を控えるモデルは0%になります。つまりこの指標が測るのは答えられない問題でのキャリブレーションであり、誤答を受け取る頻度ではありません。全問題に対する割合に直すには次のように計算します。

  • 誤答の割合 =(1 − 正答率)× ハルシネーション率
  • 回答を控えた・部分回答の割合 =(1 − 正答率)×(1 − ハルシネーション率)

抽出した55構成すべてで、正答率から誤答の割合を引くと、AAが公表するNet Scoreと小数第1位まで一致しました。部分回答が0点として扱われていることもこれで確認できます。「回答を控えた・部分回答」の列はNOT_ATTEMPTEDとPARTIAL_ANSWERを合算しています。AAのモデルページがこの2つを分けて公表していないためです。

補足が2点あります。AA-OmniscienceはAA Intelligence Index v5.0.1の15%を占めます(正答率10%、1 − ハルシネーション率が5%)。そのため、GoogleがNeonとCarbonのモデルカードで引用している総合指数には、もともと小さなキャリブレーション要素が含まれています。また、v1.1(3,000問)は6,000問のv1を置き換えたもので、AAはスコアが “are not directly comparable with v1”(訳:v1とは直接比較できない)としています。v1の数値を引用している古い記事は、別のものを測っていたことになります。

Gemini 4の思考レベル別の数値

すべての行は2026年11月19日に取得したAAのデータです。「既定」は、Googleのドキュメントに記載された各モデルの既定の思考レベルを示します。CarbonとArgonは既定がmediumで上限がhigh、NeonとHydrogenは既定がhighでxhighも選べます(Google AI StudioのNeon「what’s new」ページ)。最後の2列は、AAの2つの率から私たちが計算した値です。

モデルとレベル(AA)正答率ハルシネーション率Omniscience Index誤答(全問題に対する%)回答を控えた・部分回答(全問題に対する%)
Carbon low49.2%19.8%39.210.0%40.7%
Carbon medium(既定)48.9%4.2%46.82.2%48.9%
Carbon high58.3%11.4%53.54.8%37.0%
Argon medium(既定)49.0%15.4%41.17.9%43.2%
Argon high48.3%4.3%46.12.2%49.5%
Neon low56.6%18.8%48.58.1%35.2%
Neon medium57.9%16.2%51.16.8%35.2%
Neon high(既定)59.4%13.9%53.85.6%35.0%
Neon xhigh60.5%14.4%54.85.7%33.8%
Hydrogen low46.2%18.8%36.110.1%43.6%
Hydrogen medium48.3%12.5%41.96.4%45.2%
Hydrogen high(既定)48.2%8.7%43.74.5%47.3%
Hydrogen xhigh50.5%8.5%46.34.2%45.3%

引用される数値がどの行のものか。AAが各モデルのメイン(接尾辞なし)の項目に使っている設定は、APIの既定とは限りません。CarbonとArgonではhigh、NeonとHydrogenではxhighです(2026年11月19日時点のAAのページ名)。そのため、Argonの見出しの数値は4.3%ですが、gemini-4-argonを既定(思考レベルmedium)で呼び出した場合に対応するのは15.4%の行で、約3.6倍高くなります。以前のArgonベンチマーク記事に載せた15%という数字は、この既定の行と一致しています。Carbonは逆のケースです。最も低い率(4.2%)は既定のmediumで出ており、highにすると11.4%に上がる一方で、正答率は9.4ポイント上がります。

思考を増やしても、ハルシネーションは直線的には下がりません。HydrogenとNeonはlowからhighまでは改善し、その先は横ばいです。Carbonは19.8% → 4.2% → 11.4%と推移します。highではより多くを知っていて(正答率58.3%)、回答にも積極的になるため、残った不正解のうち誤答になる割合が増えます。「高いほうが安全」と決めつけず、実際に運用するレベルでテストしてください。リクエストごとの設定方法は思考レベルのガイドで説明しています。

正答率は狭い範囲に集まっています。Gemini 13行の正答率はすべて46%から61%の間です。低いハルシネーション率は、回答を控えた割合(全問題の34〜50%)から生まれています。ここで最も知識の多いGemini 4モデルであるNeonでさえ、約3分の1の問題で回答を控えています。この2モデルの選び方はNeonとCarbonの比較で扱っています。

同じテストでのClaude 5.5、Fable 5.2、GPT-6.x

以下の各モデルについて、AAのメイン項目は最大のeffort設定(max)です。表にはその行と、AAがそのモデルについて掲載している全effortレベルでのハルシネーション率の範囲を示します。出典と日付は同じです。

モデル(AAのメイン構成)正答率ハルシネーション率Index誤答(全体の%)回答を控えた・部分回答(全体の%)AAの各レベルでのハルシネーション率の範囲
Claude Fable 5.2(max)79.1%59.3%66.812.4%8.5%56.4〜60.4%
Claude Opus 5.5(max)65.5%50.3%48.117.4%17.1%50.3〜66.9%
Claude Sonnet 5.5(max)51.5%43.3%30.521.0%27.5%43.3〜63.6%
Claude Haiku 5.5(max)34.7%34.2%12.322.4%43.0%34.2〜40.5%
GPT-6.2 Astra(max)68.6%59.1%50.018.6%12.9%54.1〜59.1%
GPT-6.2 Sol(max)61.6%55.4%40.421.3%17.1%55.4〜65.8%
GPT-6.1 Terra(max)47.6%34.5%29.618.1%34.3%推論モード34.5〜41.6%、非推論モード77.1%
GPT-6 Luna(max)39.6%79.3%−8.347.9%12.5%推論モード79.3〜85.3%、非推論モード80.0%

Fable 5.2、Astra、Opus、Solは知識量が最も多く(正答率62〜79%)、ほぼすべての問題に答えます。回答を控えるか部分回答にとどめるのは8.5〜17%だけなので、不正解の大半は誤答になります。これらのモデルでは、effortレベルの影響がGeminiより大きく出ます。Sonnetのキャリブレーションが最も良いのはmax(43.3%)で、highとxhighでは60%を超えます。Opusはmaxの50.3%から、ほかのすべてのレベルで64〜67%になります。GPT-6 Lunaは全問題のほぼ半分で誤答しており、このグループで唯一Net Scoreがマイナスです。Terraは非推論モードにすると約35%から77%に跳ね上がります。なお、これらのメイン行はAAのmax構成であり、各APIの既定のeffortとは限りません。

ハルシネーション以外(ベンチマーク、タスクあたりコスト、速度)も含めたNeon、Opus 5.5、Solの総合比較は、Gemini 4 Neon・Claude Opus 5.5・GPT-6.2 Solの比較をご覧ください。比較対象のモデルを直接使う場合は、Opus 5.5とFable 5.2の比較、Sonnet 5.5のeffortガイド、Sol・Luna・Astraの使い分けガイドも参考になります。

トレードオフ:ハルシネーション率の低さが有利になるのはいつか

「Gemini 4はハルシネーションが少ないから信頼できる」は、半分だけ正しい見方です。highのArgonとmaxのFable 5.2を100問で比べてみます。

  • Argon high:正解約48、誤答2、回答を控えた・部分回答50。
  • Fable 5.2 max:正解約79、誤答12、回答を控えた・部分回答9。

Fableは正解が31多く、誤答も10多くなります。各モデルのスコアを正解の割合 − k × 誤答の割合とします。kは誤答1件のコストを正解1件の価値で割った値で、回答を控えた場合はAAと同じく0点です。損益分岐点のkは、正答率の差を誤答の割合の差で割った値です。AAのNet Scoreはk = 1の特殊な場合にあたります。

組み合わせ(AAの構成)正解 / 誤答の割合(ハルシネーション率の低いモデル)正解 / 誤答の割合(もう一方)損益分岐点k
Argon high vs Fable 5.2 max48.3% / 2.2%79.1% / 12.4%3.0
Argon medium(既定)vs Fable 5.2 max49.0% / 7.9%79.1% / 12.4%6.7
Neon xhigh vs Fable 5.2 max60.5% / 5.7%79.1% / 12.4%2.8
Carbon medium vs GPT-6.2 Astra max48.9% / 2.2%68.6% / 18.6%1.2
Carbon medium vs Opus 5.5 max48.9% / 2.2%65.5% / 17.4%1.1
Hydrogen high vs Sonnet 5.5 max48.2% / 4.5%51.5% / 21.0%0.2
Neon high vs GPT-6.2 Sol max59.4% / 5.6%61.6% / 21.3%0.1
Hydrogen high vs GPT-6.1 Terra max48.2% / 4.5%47.6% / 18.1%トレードオフなし
Hydrogen high vs Haiku 5.5 max48.2% / 4.5%34.7% / 22.4%トレードオフなし
Hydrogen high vs GPT-6 Luna max48.2% / 4.5%39.6% / 47.9%トレードオフなし

誤答のコストが正解の価値のk倍を超えるなら、このベンチマークではハルシネーション率の低いモデルのスコアが上回ります。k未満なら、正答率の高いモデルが上回ります。入力と出力はエビデンスフォルダーにあります(breakeven.json。Argon mediumの行は上の表の数値から同じ方法で計算)。

  • 最も知識の多いモデルが相手なら、本当のトレードオフがあります。Fable 5.2がhighのArgonやxhighのNeonに負けるのは、誤答のコストが正解の価値の約3倍に達してからです。既定のmediumのArgonが相手だと、基準は6.7に上がります。既定のArgonは誤答の割合が2.2%ではなく7.9%だからです。下書き、ブレインストーミング、テスト付きのコーディングは、たいていこれらの比率を下回ります。
  • 中位のモデルが相手なら、トレードオフはほとんどありません。highのNeon対Sol、Hydrogen対Sonnetは、kが0.25未満で逆転します。SolとSonnetは2〜3ポイントの正答率と引き換えに、誤答が15〜17ポイント増えます。
  • 低価格帯のモデルが相手なら、トレードオフはありません。既定(high)のHydrogenは、Terra、Haiku 5.5、Lunaと同等以上の正答率で、誤答ははるかに少なくなっています。「ハルシネーション率が低い=正答率が低い」が成り立つのは、正答率の上位モデルと比べたときだけです。

1つ重要な単純化があります。ここでは回答を控えると0点です。実際のプロダクトでは「分かりません」にもコストがあります(ユーザーがほかで検索する、チケットがエスカレーションされるなど)。このコストを加えると損益分岐点は上がります。リーダーボードを見る前に、正解、誤答、回答を控えた場合のそれぞれの価値を自分で書き出しておきましょう。

Google自身は事実性について何と言っているか

2026年11月19日に確認した時点で、Gemini 4の4つのモデルカード(Carbon、Neon、Hydrogen、Argon)とリンク先の評価方法PDFのいずれにも、事実性やハルシネーション専用のベンチマークは載っていません。SimpleQA型の行も、グラウンディングの忠実性の行もありません。私たちが見つけたベンダーの記述は、定性的なものか、隣接する別の評価に由来するものです。

  • モデルカード:どのカードも既知の制限としてハルシネーションを挙げています。たとえばNeonのモデルカードは、Neonが “may exhibit some general limitations such as hallucinations”(訳:ハルシネーションなどの一般的な制限を示すことがある)と記載しています。4枚とも知識のカットオフは2026年3月で、一部の分野は情報が新しくない場合があると補足しています。
  • Carbonの「what’s new」ページ:“Stronger source grounding with fewer unsupported claims across dense PDFs, spreadsheets, slides, and workspace data”(訳:情報量の多いPDF、スプレッドシート、スライド、ワークスペースのデータにおいて、ソースへのグラウンディングが強化され、根拠のない主張が減った)(AI Studio)。これは与えられた文書を扱う作業についての記述で、クローズドブックの想起ではなく、数値も示されていません。
  • Neonの「what’s new」ページ:ツールを使う長いセッションで、Neonは “minimizes fabricated claims and task shortcuts”(訳:捏造した主張やタスクの手抜きを最小限に抑える)。
  • Neonの発表記事:Neonは “trained to complete multi-step work without cutting corners, fabricating results, or overstepping user boundaries”(訳:手を抜いたり、結果を捏造したり、ユーザーの境界を越えたりせずに複数ステップの作業を完了するよう訓練されている)。Googleは社内のエージェント誠実性評価で合格率99.2%、エージェント行動評価で “under-service”(訳:サービス不足)がCarbonより43〜56%少ないと報告しています(Googleブログ)。これらはエージェントの振る舞いに関するGoogle社内の評価で、事実の想起を測るテストではなく、AA-Omniscienceとは比較できません。
  • 間接的なもの:Neonのモデルカードの「AA Index v5.0.1」の行(Neon 61、Opus 5.5 59、GPT-6.2 Sol 57)と、Carbonのモデルカードの「AA Index v5.0」の行は、AA-Omniscienceを15%の構成要素として含んでいるにすぎません。

したがって、クローズドブックでのハルシネーションについては、2026年11月19日時点で私たちが見つけたGemini 4の定量的な根拠はAAの数値だけです。

プロダクトの判断にこの数値をどう使うか

AA-Omniscienceは、あまり知られていない事実を記憶から答えさせるテストです。本番システムでそのような使い方をするケースは少ないため、結果は自分の用途に置き換えてから使ってください。

誤答のコストが高く、回答を控えた場合に対処できるなら、キャリブレーションが良く回答を控えるモデルのほうが安全な既定になります。

  • フォールバック付きのRAG。「提供された資料にはありません」と返れば、検索層で再試行したり人に引き継いだりできます。自信を持って作られた答えは根拠があるように見えるため、すり抜けてしまいます。ただしAAが測っているのはクローズドブックの想起で、取得したコンテキストへの忠実性は別の能力です。自社の文書で別途テストしてください(埋め込みとRAGのガイド(英語)を参照)。
  • 法務、金融、コンプライアンス、医療の情報抽出。空欄はレビューされますが、誤った条項、金利、用量は見逃されるかもしれません。ここではkが3を大きく上回るのが普通です。まずmediumのCarbon、highのArgon、既定(high)のHydrogenをテストしてください。
  • 引用と、事実にもとづいて行動するエージェント。捏造された判例名やアカウントIDは、誤った引用や誤った操作になります。回答を控えれば、ユーザーへの質問になります。

誤答を簡単に見つけられるなら、知識の多いモデルのほうが良い既定です。どうせ手直しする下書きや要約、テストスイートのあるコーディング、すべての候補を人が確認する高再現率のトリアージ、そして断られたユーザーがほかで答えを探すコンシューマー向けQ&Aがこれにあたります。

選ぶ前に:

  1. 自社の実際のトラフィックからラベル付きのセットを作ります。答えられる問題、答えられない問題(誤った前提、存在しないエンティティ、記録のない事実)、答えられるがマイナーな問題を含めます。正解、誤答、回答を控えた件数を別々に数え、誤答は全項目に対する割合で報告します。
  2. 実際に運用する思考レベルやeffortでテストします。ArgonとSonnetの行を見ると、結果がどれだけ変わるかが分かります。
  3. 回答を控えてもよいとモデルに伝え、控えた場合にコード側で何かをする(検索する、質問する、エスカレーションする)ようにします。
  4. タスクによって誤答のコストが違うなら、タスクごとにルーティングします。Gemini 4モデル選びのガイドとGemini・Claude・GPTのティア対応表で扱っています。

Ofox経由で行った小規模テスト(参考用、n=1)

回答を控える挙動を直接見るため、Ofoxで呼び出せる6モデルを試しました。google/gemini-4-argon、google/gemini-4-hydrogen、anthropic/claude-haiku-5.5、anthropic/claude-sonnet-5.5、openai/gpt-6-luna、openai/gpt-6.2-solです。CarbonとNeonはOfoxにないため、テストしていません。

方法。20問を作成し、実行前に参考解答を確認しました。質問は英語で送信しました。以下では英語の問題の要点をそのまま残し、括弧内に日本語の説明を付けます。

  • 答えられる問題10問(安定して確認できる事実):first woman to win the Fields Medal(フィールズ賞を初めて受賞した女性)、composer of Wozzeck(『ヴォツェック』の作曲者)、deepest point of the Puerto Rico Trench(プエルトリコ海溝の最深点)、HTTP 421 reason phrase(HTTP 421の理由フレーズ)、RFC number for JWT(JWTのRFC番号)、PEP number for f-strings(f-stringのPEP番号)、formula of wollastonite(珪灰石の化学式)、IATA code of Svalbard Airport(スヴァールバル空港のIATAコード)、first ASEAN Secretary-General(初代ASEAN事務総長)、year the Unicode Consortium was incorporated(Unicodeコンソーシアムが法人化された年)。
  • トラップ問題5問:誤った前提の問題(the year Alan Turing received the Turing Award、つまりアラン・チューリングがチューリング賞を受賞した年。チューリングは1954年に亡くなり、賞は1966年に始まりました)、存在しないpandasのメソッド、架空のNature論文、記録のない事実(the word count of Hemingway’s first handwritten draft of The Old Man and the Sea、つまりヘミングウェイ『老人と海』の最初の手書き原稿の語数)、架空の数学者と予想。
  • やや難しい答えられる問題5問:1回目で答えられる問題に回答を控える例が出なかったため、2回目として追加しました。second ASEAN Secretary-General(第2代ASEAN事務総長)、Svalbard Airport’s ICAO code(スヴァールバル空港のICAOコード)、month of the first Unicode Standard volume(Unicode Standard第1巻が出た月)、the first Secretary-General’s date of death(初代事務総長の没年月日)、the Unicode Consortium’s three founders(Unicodeコンソーシアムの創設者3人)。

各ラウンドで、モデルごとにhttps://api.ofox.io/v1経由のChat Completions呼び出しを1回行いました。システムプロンプトでは “say so instead of guessing”(訳:推測せずにそう伝える)ことを許可し、JSON出力を指定し、ツールなし、temperatureや推論パラメーターは指定せず(各モデルはOfoxルートの既定値)、max_tokensは支出の上限として16000にしました。合計12回の呼び出しで、AAに表示されている定価で約0.04米ドル分のトークンです(私たちの見積もりで、請求額ではありません)。保存した生の応答から、すべての回答を手作業で採点しました。採点ルール:留保付きの誤答(“I believe X, but I’m not fully confident”)は誤答とし、一般に認められている音写(“H.R. Darsono”、“Umarjadi Notowijono”)は正解としました。

モデル(Ofox ID)答えられる問題(15):正解 / 誤答 / 回答を控えたトラップ(5):見抜いた / 捏造
google/gemini-4-argon14 / 0 / 15 / 0
google/gemini-4-hydrogen15 / 0 / 05 / 0
openai/gpt-6.2-sol15 / 0 / 05 / 0
anthropic/claude-haiku-5.513 / 1 / 15 / 0
anthropic/claude-sonnet-5.513 / 2 / 05 / 0
openai/gpt-6-luna14 / 1 / 04 / 1

モデル間で差がついた問題の内訳は次のとおりです。

  • 初代ASEAN事務総長(Hartono Rekso Dharsono):Haikuは “H.S. Dillon of Indonesia” と回答しました。Sonnetは “Hartono Rekksodiprodjo” と答え、名は正しいものの姓は架空でした。
  • その没年月日(1996年6月5日):ArgonとHaikuはどちらも回答を控えました。Sonnetは “I believe 6 June 2006, but I’m not fully confident” と答えましたが、留保付きでも誤答です。Hydrogen、Sol、Lunaは正解しました。
  • 第2代ASEAN事務総長(Umarjadi Njotowijono):LunaはAli Abdullahと答えましたが、これは第3代です。Sonnetは人物は正しかったものの、誤った任期(1978〜1980年。実際の在任は1978年2月〜6月)を付け加えました。
  • チューリング賞のトラップ:Lunaは “1986” と回答しました。ほかの5モデルは、チューリングは受賞していないと答えました。
  • 架空の論文、存在しないpandasのメソッド、架空の数学者、記録のない語数は、6モデルすべてが見抜きました。

このテストから言えること、言えないこと:

  • Argonは、ほかの3モデルが正解した問題で回答を控えました。これは小規模に見たAAのトレードオフです。回答を控えたことで正解を1つ失い、起こりえた誤りを1つ避けました。
  • このセットでは、HydrogenとSolは1問も間違えませんでした。そのためAA方式のハルシネーション率は定義できません(0 ÷ 0)。Sonnetは100%(誤答2 ÷ 不正解2)、Argonは0%(0 ÷ 1)になります。答えられる問題が15問しかないと、この比率は1〜2問の答えで「定義不能」から100%まで振れます。小さなセットでは、誤答を全項目に対する割合で数えるべき理由がここにあります。
  • 分かりやすいトラップは簡単でした。6モデル中5モデルがすべてのトラップを見抜きました。今回の実行では、偽の論文や偽のAPIは見抜かれ、実際の誤りは実在するものの資料がほとんどない人物で起きました。自分のテストセットにもこうした項目を入れてください。
  • 制約:各モデル1回の実行、手書きの20問、筆者による採点、各Ofoxルートの既定設定(思考レベルは設定も確認もしていません。Argonの応答には推論トークンが報告されていませんでした)、そして回答を控えることを明示的に許可したプロンプトです。もう一度実行すれば個々の回答は変わる可能性があります。生のリクエストとレスポンスは記事のエビデンスとともに保存しています。

自分の質問で同じチェックを実行する

以下は私たちのスクリプトを短くしたものです。OfoxのOpenAI互換エンドポイント経由でモデルごとに1バッチを送り、回答を表示します。監査記録が必要なら完全なレスポンスを保存してください。キーは環境変数に入れておきます。セットアップはOfoxの連携ドキュメントを、Ofoxが受け付けるGemini固有のリクエスト形式はGemini APIのページをご覧ください。

import json, os, urllib.error, urllib.request

SYSTEM = ("Answer each question from your own knowledge only. You have no tools. "
          "Keep each answer short. If you are not confident, or the question cannot "
          "be answered as asked, say so instead of guessing. Return only a JSON object "
          "mapping each question id to your answer string.")
questions = {"Q1": "Who was the first Secretary-General of ASEAN?",
             "Q2": "In what year did Alan Turing receive the Turing Award?"}  # ここに自分の質問セットを入れる

def ask(model):
    body = {"model": model, "max_tokens": 16000,
            "messages": [{"role": "system", "content": SYSTEM},
                         {"role": "user", "content": "\n".join(f"{k}: {v}" for k, v in questions.items())}]}
    req = urllib.request.Request("https://api.ofox.io/v1/chat/completions",
        data=json.dumps(body).encode(),
        headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
                 "Content-Type": "application/json"})
    try:
        with urllib.request.urlopen(req, timeout=600) as r:
            return json.loads(r.read())
    except urllib.error.HTTPError as e:
        print(model, "HTTP", e.code, e.read()[:300])
        return None

for m in ["google/gemini-4-argon", "google/gemini-4-hydrogen", "anthropic/claude-sonnet-5.5"]:
    out = ask(m)
    if out:
        print(m, out["choices"][0]["message"]["content"])

各回答を手作業か採点用プロンプトで正解、誤答、回答を控えたに分類し、トラップは別に集計します。JSONをMarkdownのコードフェンスで囲んで返すモデルもあるため(今回はArgonとHaikuがそうでした)、パースする前にフェンスを取り除いてください。バッチ処理中に429が出た場合は、レート制限のガイドとGemini 4 APIエラーのガイドをご覧ください。それ以外の失敗については、エラー処理ガイドにレスポンスコードの一覧があります。各モデルの現在のトークン単価は、それぞれのOfoxモデルページで確認できます。例:Gemini 4 Argon、Gemini 4 Hydrogen、Claude Sonnet 5.5、GPT-6.2 Sol。

2026年11月19日時点で、Gemini 4 CarbonとNeonはOfoxにありません。これらをテストするには、GoogleのネイティブGemini APIを直接呼び出してください。リクエスト形式とthinking_levelの設定方法は、Neon APIガイドとCarbon APIセットアップガイドで説明しています。

まとめ

Argonの4.3%はhigh設定の値で、既定のmediumでは15.4%です。どちらの場合も、全回答のうち誤答の割合は見出しの数値から受ける印象よりずっと小さくなります(それぞれ2.2%と7.9%)。Gemini 4の低い率は、知識の多さではなく回答を控えることから来ています。そのためFable 5.2、Opus 5.5、Astraと比べて有利になるのは、組み合わせとレベルによって異なりますが、誤答のコストが正解の価値のおよそ1.1〜7倍に達する場合だけです。Sol、Sonnet、低価格帯のモデルとの比較では、このトレードオフはほぼなくなります。引用されたハルシネーション率を見たら、まずどの思考レベルの値かを確認し、そのうえで自分のデータで誤答を全回答に対する割合として数えてください。

関連ドキュメント