Gemini 4 幻觉率 4.3% 是怎么算的?那是 Argon 的 high 档,默认档 15.4%
Gemini 4 Argon 常被引用的 4.3% 幻觉率来自 high 思考档位,默认 medium 档是 15.4%。本文列出 Gemini 4 各档位与 Claude、GPT 的 AA-Omniscience 数据,讲清分母是什么,以及什么情况下“不答”更划算。
被广泛引用的 4.3%,是 Gemini 4 Argon 在 high 思考档位下的 AA-Omniscience 幻觉率,不是默认档位的数字。Argon 默认用 medium,Artificial Analysis(AA)在这一档测得 15.4%。而且 4.3% 并不等于“4% 的时候答错”:AA 用答错的题数除以模型没有答对的题数,所以 high 档的 Argon 在全部题目中约 2% 答错,48% 答对,约一半选择不答(或只给出部分答案)。
AA 列出的 Gemini 4 全部 13 个配置中,幻觉率从 4.2%(Carbon 默认的 medium 档)到 19.8%(Carbon low 档)不等。Claude 5.5 系列、Claude Fable 5.2 和 GPT-6.x 系列则在 34% 到 85% 之间。Gemini 4 的低幻觉率主要来自不知道时选择不答,而不是知道得更多:Claude Fable 5.2 在 max 档答对 79.1% 的题,high 档的 Argon 答对 48.3%。所以哪个模型“更可靠”,取决于一个错误答案相对于一句“我不知道”会让你付出多大代价。下文依次给出:Gemini 4 每个档位的数据、八个 Claude 和 GPT 对手、每组取舍反转时的代价比,以及我们通过 Ofox 做的一次小测试。
来源与日期:
- AA 数据:2026 年 11 月 19 日从各模型的 AA 页面抓取(原始页面和我们的提取结果保存在本文的证据文件夹中)。
- Google 的说法:Gemini 4 各模型卡、AI Studio 的 “what’s new” 页面和 Neon 发布博文,2026 年 11 月 19 日核对,标注为厂商数据。
- 我们的测试:6 个模型、20 道题、每个模型跑一次,2026 年 11 月 19 日。仅作示意,不是基准测试。
本文由 Ofox 发布。文中讨论的模型并非都能通过 Ofox 调用:截至 2026 年 11 月 19 日,Gemini 4 Argon 和 Hydrogen 已在 Ofox 上线;Gemini 4 Carbon 和 Neon 尚未上线。表格中的 Claude 和 GPT 模型均可在 Ofox 调用。
AA-Omniscience 测的是什么
AA-Omniscience v1.1 是一项闭卷知识测试:3,000 道题,覆盖 42 个主题,领域包括商业、人文与社会科学、健康、法律、软件工程,以及科学、工程与数学。模型只凭自身知识作答,不能用工具。一个评分模型(AA 写明是 medium 档的 GPT-5.6 Luna)把每个回答标为四种结果之一:CORRECT、INCORRECT、PARTIAL_ANSWER 或 NOT_ATTEMPTED。AA 的方法论页面和评测页面在这些标签之上定义了三个指标:
| AA 指标 | 公式 | 它告诉你什么 |
|---|---|---|
| 准确率(Accuracy) | 答对 ÷ 全部题目 | 模型知道多少,并且能正确说出来 |
| 幻觉率(Hallucination rate) | 答错 ÷(答错 + 部分作答 + 未作答) | 模型没答对时,有多大比例是硬给一个错误答案,而不是选择不答 |
| 净得分(Net Score),也叫 Omniscience Index(−100 到 100) | (答对 − 答错)÷ 全部题目 × 100(我们的复述) | 答对得 1 分,答错扣 1 分;不答和部分作答记 0 分 |
准确率和幻觉率的公式是 AA 直接写明的。关于净得分,AA 的原文是 “rewards correct answers, penalizes hallucinations, and has no penalty for refusing to answer”(译文:奖励正确答案,惩罚幻觉,拒绝回答不扣分);表中的公式是我们的复述,下文做了验证。
幻觉率完全不看答对的题。一个模型答对 90%、其余 10% 全部猜错,幻觉率是 100%;另一个模型答对 40%、其余全部不答,幻觉率是 0%。所以它衡量的是模型在答不出的题上校准得好不好,而不是你拿到错误答案的频率。要换算成占全部题目的比例:
- 答错占比 =(1 − 准确率)× 幻觉率
- 不答或部分作答占比 =(1 − 准确率)×(1 − 幻觉率)
在我们提取的全部 55 个配置上,准确率减去答错占比都与 AA 公布的净得分完全一致(精确到一位小数),这也证实了部分作答记 0 分。“不答或部分作答”一栏把 NOT_ATTEMPTED 和 PARTIAL_ANSWER 合在一起,因为 AA 的模型页面没有分开公布这两项。
另外两点。AA-Omniscience 在 AA Intelligence Index v5.0.1 中占 15%(准确率占 10%,1 − 幻觉率占 5%),所以 Google 在 Neon 和 Carbon 模型卡上引用的综合指数里,本身已经含有一小部分校准成分。另外,v1.1(3,000 题)取代了 6,000 题的 v1;AA 说明两者分数 “are not directly comparable with v1”(译文:不能与 v1 直接比较),所以引用 v1 数字的旧文章测的是另一回事。
Gemini 4 各思考档位的数据
所有行均为 2026 年 11 月 19 日抓取的 AA 数据。“默认”指 Google 文档写明的该模型默认思考档位:Carbon 和 Argon 默认 medium,最高 high;Neon 和 Hydrogen 默认 high,另有 xhigh(Google AI Studio 的 Neon “what’s new” 页面)。最后两列是我们根据 AA 的两个比率算出的。
| 模型与档位(AA) | 准确率 | 幻觉率 | Omniscience Index | 答错,占全部题目 | 不答或部分作答,占全部题目 |
|---|---|---|---|---|---|
Carbon low | 49.2% | 19.8% | 39.2 | 10.0% | 40.7% |
Carbon medium(默认) | 48.9% | 4.2% | 46.8 | 2.2% | 48.9% |
Carbon high | 58.3% | 11.4% | 53.5 | 4.8% | 37.0% |
Argon medium(默认) | 49.0% | 15.4% | 41.1 | 7.9% | 43.2% |
Argon high | 48.3% | 4.3% | 46.1 | 2.2% | 49.5% |
Neon low | 56.6% | 18.8% | 48.5 | 8.1% | 35.2% |
Neon medium | 57.9% | 16.2% | 51.1 | 6.8% | 35.2% |
Neon high(默认) | 59.4% | 13.9% | 53.8 | 5.6% | 35.0% |
Neon xhigh | 60.5% | 14.4% | 54.8 | 5.7% | 33.8% |
Hydrogen low | 46.2% | 18.8% | 36.1 | 10.1% | 43.6% |
Hydrogen medium | 48.3% | 12.5% | 41.9 | 6.4% | 45.2% |
Hydrogen high(默认) | 48.2% | 8.7% | 43.7 | 4.5% | 47.3% |
Hydrogen xhigh | 50.5% | 8.5% | 46.3 | 4.2% | 45.3% |
被引用的数字来自哪一行。 AA 给每个模型的主条目(名称不带后缀的那一条)不一定是 API 默认档:Carbon 和 Argon 的主条目是 high,Neon 和 Hydrogen 的主条目是 xhigh(据 2026 年 11 月 19 日的 AA 页面名称)。这就是为什么 Argon 的标题数字是 4.3%,而默认调用 gemini-4-argon(思考档位 medium)对应的是 15.4% 那一行,约为前者的 3.6 倍。我们之前那篇 Argon 基准测试文章中的 15%,与这个默认档的数据一致。Carbon 正好相反:它最低的幻觉率(4.2%)出现在默认的 medium 档,high 档把幻觉率抬到 11.4%,同时准确率多出 9.4 个百分点。
思考越多,幻觉并不是线性下降。 Hydrogen 和 Neon 从 low 到 high 有改善,之后就持平了。Carbon 则是 19.8% → 4.2% → 11.4%:到了 high 档,它知道得更多(准确率 58.3%),也更愿意作答,于是剩下没答对的题里有更多变成了错误答案。请测试你打算上线的那个档位,不要默认“档位越高越安全”;按请求设置档位的方法见我们的思考档位指南。
准确率很集中。 Gemini 的全部 13 行,准确率都在 46% 到 61% 之间。低幻觉率来自不答的比例(占全部题目的 34–50%)。即使是这里知识最丰富的 Gemini 4 模型 Neon,也有大约三分之一的题选择不答;这两者怎么选,见 Neon 与 Carbon 对比。
Claude 5.5、Fable 5.2 和 GPT-6.x 在同一测试上的表现
AA 给下面每个模型的主条目都是 max 推理强度设置。表中列出这一行,以及 AA 为该模型列出的所有强度档位下的幻觉率范围。来源和日期同上。
| 模型(AA 主条目配置) | 准确率 | 幻觉率 | Index | 答错,占全部 | 不答或部分作答,占全部 | AA 各档位的幻觉率范围 |
|---|---|---|---|---|---|---|
| Claude Fable 5.2(max) | 79.1% | 59.3% | 66.8 | 12.4% | 8.5% | 56.4–60.4% |
| Claude Opus 5.5(max) | 65.5% | 50.3% | 48.1 | 17.4% | 17.1% | 50.3–66.9% |
| Claude Sonnet 5.5(max) | 51.5% | 43.3% | 30.5 | 21.0% | 27.5% | 43.3–63.6% |
| Claude Haiku 5.5(max) | 34.7% | 34.2% | 12.3 | 22.4% | 43.0% | 34.2–40.5% |
| GPT-6.2 Astra(max) | 68.6% | 59.1% | 50.0 | 18.6% | 12.9% | 54.1–59.1% |
| GPT-6.2 Sol(max) | 61.6% | 55.4% | 40.4 | 21.3% | 17.1% | 55.4–65.8% |
| GPT-6.1 Terra(max) | 47.6% | 34.5% | 29.6 | 18.1% | 34.3% | 推理模式 34.5–41.6%;非推理模式 77.1% |
| GPT-6 Luna(max) | 39.6% | 79.3% | −8.3 | 47.9% | 12.5% | 推理模式 79.3–85.3%;非推理模式 80.0% |
Fable 5.2、Astra、Opus 和 Sol 知道得最多(准确率 62–79%),而且几乎每题都答:只有 8.5–17% 的题不答或只给部分答案,所以它们没答对的题大多成了错误答案。在这些模型上,推理强度的影响比在 Gemini 上更大。Sonnet 校准最好的是 max 档(43.3%),到 high 和 xhigh 档会升到 60% 以上;Opus 从 max 档的 50.3% 变成其他所有档位的 64–67%。GPT-6 Luna 在全部题目中答错将近一半,是这组里唯一净得分为负的模型;Terra 的非推理模式从约 35% 跳到 77%。注意,这些主条目行是 AA 的 max 配置,不一定是各家 API 的默认推理强度。
如果想看幻觉以外的 Neon、Opus 5.5 和 Sol 全面对比(基准测试、单任务成本、速度),见 Gemini 4 Neon、Claude Opus 5.5 与 GPT-6.2 Sol 对比。如果你直接使用这些对手模型,可以参考我们的 Opus 5.5 与 Fable 5.2 对比、Sonnet 5.5 推理强度指南和 Sol、Luna、Astra 分流指南。
取舍:低幻觉率什么时候更划算?
“Gemini 4 幻觉更少,所以更可靠”只对了一半。拿 high 档的 Argon 和 max 档的 Fable 5.2 在 100 道题上比较:
- Argon
high:约 48 题答对,2 题答错,50 题不答或部分作答。 - Fable 5.2
max:约 79 题答对,12 题答错,9 题不答或部分作答。
Fable 多给你 31 个正确答案,也多给 10 个错误答案。把每个模型的得分记为 答对占比 − k × 答错占比,其中 k 是一个错误答案的代价除以一个正确答案的价值;不答和 AA 一样记 0 分。盈亏平衡点 k 等于准确率差除以答错占比差;AA 的净得分就是 k = 1 的特例。
| 对比组(AA 配置) | 低幻觉模型的答对 / 答错占比 | 另一模型的答对 / 答错占比 | 平衡点 k |
|---|---|---|---|
Argon high vs Fable 5.2 max | 48.3% / 2.2% | 79.1% / 12.4% | 3.0 |
Argon medium(默认)vs Fable 5.2 max | 49.0% / 7.9% | 79.1% / 12.4% | 6.7 |
Neon xhigh vs Fable 5.2 max | 60.5% / 5.7% | 79.1% / 12.4% | 2.8 |
Carbon medium vs GPT-6.2 Astra max | 48.9% / 2.2% | 68.6% / 18.6% | 1.2 |
Carbon medium vs Opus 5.5 max | 48.9% / 2.2% | 65.5% / 17.4% | 1.1 |
Hydrogen high vs Sonnet 5.5 max | 48.2% / 4.5% | 51.5% / 21.0% | 0.2 |
Neon high vs GPT-6.2 Sol max | 59.4% / 5.6% | 61.6% / 21.3% | 0.1 |
Hydrogen high vs GPT-6.1 Terra max | 48.2% / 4.5% | 47.6% / 18.1% | 不存在取舍 |
Hydrogen high vs Haiku 5.5 max | 48.2% / 4.5% | 34.7% / 22.4% | 不存在取舍 |
Hydrogen high vs GPT-6 Luna max | 48.2% / 4.5% | 39.6% / 47.9% | 不存在取舍 |
如果一个错误答案的代价超过一个正确答案价值的 k 倍,低幻觉模型在这项基准上得分更高;低于 k,准确率更高的模型得分更高。输入和输出保存在证据文件夹中(breakeven.json;Argon medium 那一行用同样方法根据上文数据算出)。
- 对上知识最多的模型,这是真实的取舍。只有当一个错误答案的代价约为正确答案价值的三倍时,Fable 5.2 才会输给
high档的 Argon 或xhigh档的 Neon。对上默认medium档的 Argon,门槛升到 6.7,因为默认档 Argon 的答错占比是 7.9%,而不是 2.2%。起草、头脑风暴和有测试兜底的编码,通常都低于这些比值。 - 对上中档模型,几乎谈不上取舍。
high档 Neon 对 Sol、Hydrogen 对 Sonnet,k 不到 0.25 就会反转:Sol 和 Sonnet 多换来 2–3 个百分点的准确率,代价是多出 15–17 个百分点的错误答案。 - 对上低价档模型,根本没有取舍。默认档(
high)的 Hydrogen 准确率不低于 Terra、Haiku 5.5 和 Luna,答错却少得多。“幻觉率低就意味着准确率低”只在对比准确率最高的那批模型时成立。
有一个简化需要注意:这里不答记 0 分。在真实产品里,“我不知道”也有代价(用户去别处搜索、工单被升级)。把这部分代价算进去,盈亏平衡点会上移。所以在看任何排行榜之前,先写下你自己对正确答案、错误答案和不答的估值。
Google 自己对事实性的说法
2026 年 11 月 19 日核对时,四个 Gemini 4 模型卡(Carbon、Neon、Hydrogen、Argon)及其链接的评测方法 PDF 都没有报告专门的事实性或幻觉基准:没有 SimpleQA 类的数据行,也没有 grounding 忠实度的数据行。我们找到的厂商说法要么是定性描述,要么来自相邻领域的评测:
- 模型卡:每张卡都把幻觉列为已知局限。例如 Neon 模型卡写道,Neon “may exhibit some general limitations such as hallucinations”(译文:可能表现出幻觉等一般性局限)。四张卡给出的知识截止时间都是 2026 年 3 月,并补充说某些领域的信息可能不够新。
- Carbon 的 “what’s new” 页面:“Stronger source grounding with fewer unsupported claims across dense PDFs, spreadsheets, slides, and workspace data”(译文:在信息密集的 PDF、表格、幻灯片和工作区数据上,来源 grounding 更强,无依据的说法更少)(AI Studio)。这说的是基于用户提供文档的工作,不是闭卷回忆,而且没有给出数字。
- Neon 的 “what’s new” 页面:在长时间使用工具的会话中,Neon “minimizes fabricated claims and task shortcuts”(译文:尽量减少编造的说法和任务上的偷工减料)。
- Neon 发布博文:Neon “trained to complete multi-step work without cutting corners, fabricating results, or overstepping user boundaries”(译文:经过训练,能完成多步骤工作,而不偷工减料、不编造结果、不越过用户设定的边界)。Google 报告 Neon 在其内部 Agent 诚实度评测中通过率为 99.2%,在其 Agent 行为评测中 “under-service”(译文:服务不足)比 Carbon 少 43–56%(Google 博客)。这些是 Google 内部对 Agent 行为的评测,不是事实回忆测试,不能和 AA-Omniscience 比较。
- 间接相关:Neon 模型卡上的 “AA Index v5.0.1” 一行(Neon 61、Opus 5.5 59、GPT-6.2 Sol 57)和 Carbon 模型卡上的 “AA Index v5.0” 一行,都只把 AA-Omniscience 作为占 15% 的组成部分。
因此,就闭卷幻觉而言,截至 2026 年 11 月 19 日,AA 的数字是我们找到的唯一关于 Gemini 4 的量化证据。
在产品决策中怎么用这些数字
AA-Omniscience 要求模型凭记忆回答冷门事实,很少有生产系统是这样工作的,所以使用前要先换算到你的场景。
如果错误答案代价高、而“不答”可以被妥善处理,校准好、会说不知道的模型是更安全的默认选择:
- 带兜底的 RAG。“提供的资料里没有”能让检索层重试或转交;一个自信编造的答案看起来有出处,反而会漏过去。不过 AA 测的是闭卷回忆,对检索内容是否忠实是另一种能力,需要用你自己的文档单独测(见我们的 Embedding 与 RAG 指南)。
- 法律、金融、合规和医疗信息抽取:空着的字段会被人复核,而错误的条款、利率或剂量可能不会。这里的 k 通常远高于 3;优先测试
medium档的 Carbon、high档的 Argon,或默认档(high)的 Hydrogen。 - 引用,以及依据事实采取行动的 Agent。编造的案例名或账户 ID 会变成错误引用或错误操作;不答则变成向用户提的一个问题。
如果错误答案很容易被发现,知识更多的模型是更好的默认选择:反正要再改的起草和摘要、有测试套件的编码、每个候选都有人审核的高召回分诊,以及用户被拒答后会去别处找答案的面向消费者问答。
选型之前:
- 用你自己的真实流量建一个带标注的测试集:可回答的、不可回答的(错误前提、不存在的实体、没有记录的事实),以及可回答但冷门的。分别统计答对、答错和不答,并把答错报告为占全部题目的比例。
- 测你实际要上线的思考档位或推理强度;Argon 和 Sonnet 那几行显示了它对结果的影响有多大。
- 告诉模型不答是可以接受的,并让你的代码对“不答”做出处理(检索、追问、升级)。
- 如果不同任务的错误代价不同,就按任务分流。我们的 Gemini 4 模型选型指南和 Gemini、Claude、GPT 档位对照讲了这一点。
我们通过 Ofox 做的小测试(仅作示意,n=1)
为了直接观察模型的不答行为,我们测了六个可以通过 Ofox 调用的模型:google/gemini-4-argon、google/gemini-4-hydrogen、anthropic/claude-haiku-5.5、anthropic/claude-sonnet-5.5、openai/gpt-6-luna 和 openai/gpt-6.2-sol。Carbon 和 Neon 不在 Ofox 上,所以没有测试。
方法。我们写了 20 道题,并在运行前核对了参考答案。题目以英文发送,下面保留英文原题要点,括号内为中文说明:
- 10 道可回答题,都是稳定、可核查的事实:first woman to win the Fields Medal(首位获得菲尔兹奖的女性);composer of Wozzeck(《沃采克》的作曲者);deepest point of the Puerto Rico Trench(波多黎各海沟最深点);HTTP 421 reason phrase(HTTP 421 的状态短语);RFC number for JWT(JWT 的 RFC 编号);PEP number for f-strings(f-string 的 PEP 编号);formula of wollastonite(硅灰石的化学式);IATA code of Svalbard Airport(斯瓦尔巴机场的 IATA 代码);first ASEAN Secretary-General(东盟首任秘书长);year the Unicode Consortium was incorporated(Unicode 联盟注册成立的年份)。
- 5 道陷阱题:一道错误前提题(the year Alan Turing received the Turing Award,即图灵获得图灵奖的年份;他 1954 年去世,而该奖 1966 年才设立),一个不存在的 pandas 方法,一篇编造的 Nature 论文,一个没有记录的事实(the word count of Hemingway’s first handwritten draft of The Old Man and the Sea,即海明威《老人与海》第一份手写稿的字数),以及一位编造的数学家和猜想。
- 5 道较难的可回答题,是在第一轮中可回答题没有出现任何不答之后,作为第二轮加入的:second ASEAN Secretary-General(东盟第二任秘书长)、Svalbard Airport’s ICAO code(斯瓦尔巴机场的 ICAO 代码)、month of the first Unicode Standard volume(第一卷 Unicode Standard 出版的月份)、the first Secretary-General’s date of death(首任秘书长的去世日期),以及 the Unicode Consortium’s three founders(Unicode 联盟的三位创始人)。
每一轮对每个模型发一次 Chat Completions 调用,经由 https://api.ofox.io/v1。系统提示允许模型 “say so instead of guessing”(译文:说明自己不确定,而不是去猜),要求 JSON 输出,不提供工具,不设置 temperature 或推理参数(每个模型使用其 Ofox 路由的默认值),max_tokens 设为 16000,作为花费上限。总共 12 次调用,按 AA 上显示的标价约合 0.04 美元的 token(我们的估算,不是账单)。我们根据保存的原始响应逐条人工评分。评分规则:带保留的错误答案(“I believe X, but I’m not fully confident”)算答错;公认的音译写法(“H.R. Darsono”、“Umarjadi Notowijono”)算答对。
| 模型(Ofox ID) | 可回答题(15):答对 / 答错 / 不答 | 陷阱题(5):识破 / 编造 |
|---|---|---|
google/gemini-4-argon | 14 / 0 / 1 | 5 / 0 |
google/gemini-4-hydrogen | 15 / 0 / 0 | 5 / 0 |
openai/gpt-6.2-sol | 15 / 0 / 0 | 5 / 0 |
anthropic/claude-haiku-5.5 | 13 / 1 / 1 | 5 / 0 |
anthropic/claude-sonnet-5.5 | 13 / 2 / 0 | 5 / 0 |
openai/gpt-6-luna | 14 / 1 / 0 | 4 / 1 |
在拉开差距的几道题上,具体情况如下:
- 东盟首任秘书长(Hartono Rekso Dharsono):Haiku 回答 “H.S. Dillon of Indonesia”。Sonnet 回答 “Hartono Rekksodiprodjo”,名字对了,姓是编的。
- 他的去世日期(1996 年 6 月 5 日):Argon 和 Haiku 都选择不答。Sonnet 给出 “I believe 6 June 2006, but I’m not fully confident”,虽然有保留,仍然是错的。Hydrogen、Sol 和 Luna 答对了。
- 东盟第二任秘书长(Umarjadi Njotowijono):Luna 说是 Ali Abdullah,那是第三任。Sonnet 人名答对了,却加上了错误的任期(1978–1980;他实际任职于 1978 年 2 月到 6 月)。
- 图灵奖陷阱题:Luna 回答 “1986”。另外五个模型都指出图灵从未获得该奖。
- 编造的论文、不存在的 pandas 方法、编造的数学家和没有记录的字数,六个模型全部识破。
这次测试能说明什么、不能说明什么:
- 有一道题另有三个模型答对了,Argon 却选择了不答。这就是小规模下的 AA 式取舍:不答让它少了一个正确答案,也避开了一个可能的错误。
- 在这组题上,Hydrogen 和 Sol 一题都没错。它们的 AA 式幻觉率无法定义(0 ÷ 0)。Sonnet 的会是 100%(2 个答错 ÷ 2 个未答对),Argon 的是 0%(0 ÷ 1)。只有 15 道可回答题时,这个比值会因为一两个答案在“无法定义”和 100% 之间摆动,所以在小测试集上应该统计答错占全部题目的比例。
- 明显的陷阱题很容易。六个模型中有五个识破了全部陷阱。在这次运行中,假论文和假 API 都被识破了;真正的错误出在确有其人、但资料很少的人物上。在你自己的测试集里要放这类题。
- 局限:每个模型只跑一次,20 道手写题目,由作者评分,使用各 Ofox 路由的默认设置(我们没有设置或核实思考档位;Argon 的响应里没有报告推理 token),而且提示词明确允许不答。重跑一次,个别答案可能会变。原始请求和响应随文章证据一起保存。
用你自己的问题跑同样的检查
下面是我们脚本的精简版。它通过 Ofox 的 OpenAI 兼容端点,给每个模型发一批题目并打印回答;如果需要留存审计记录,请保存完整响应。把 key 放在环境变量里。接入设置见 Ofox 接入文档,Ofox 接受的 Gemini 专用请求格式见 Gemini API 页面。
import json, os, urllib.error, urllib.request
SYSTEM = ("Answer each question from your own knowledge only. You have no tools. "
"Keep each answer short. If you are not confident, or the question cannot "
"be answered as asked, say so instead of guessing. Return only a JSON object "
"mapping each question id to your answer string.")
questions = {"Q1": "Who was the first Secretary-General of ASEAN?",
"Q2": "In what year did Alan Turing receive the Turing Award?"} # 在这里放你的题目
def ask(model):
body = {"model": model, "max_tokens": 16000,
"messages": [{"role": "system", "content": SYSTEM},
{"role": "user", "content": "\n".join(f"{k}: {v}" for k, v in questions.items())}]}
req = urllib.request.Request("https://api.ofox.io/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=600) as r:
return json.loads(r.read())
except urllib.error.HTTPError as e:
print(model, "HTTP", e.code, e.read()[:300])
return None
for m in ["google/gemini-4-argon", "google/gemini-4-hydrogen", "anthropic/claude-sonnet-5.5"]:
out = ask(m)
if out:
print(m, out["choices"][0]["message"]["content"])
人工或用评分提示词把每个答案分为答对、答错和不答,陷阱题单独计数。有些模型会把 JSON 包在 Markdown 代码块里(我们这次运行中 Argon 和 Haiku 就是这样),解析前要先去掉代码块标记。批量请求时如果遇到 429,见限流文档和我们的 Gemini 4 API 报错指南。其他错误可以查错误处理指南里列出的响应码。各模型当前的每 token 价格见其 Ofox 模型页,例如 Gemini 4 Argon、Gemini 4 Hydrogen、Claude Sonnet 5.5 和 GPT-6.2 Sol。
截至 2026 年 11 月 19 日,Gemini 4 Carbon 和 Neon 不在 Ofox 上。要测试它们,请直接调用 Google 原生 Gemini API;我们的 Neon API 指南和 Carbon API 配置指南介绍了请求格式以及如何设置 thinking_level。
简短结论
Argon 的 4.3% 是 high 档的数字;在默认的 medium 档是 15.4%。无论哪一档,答错占全部回答的比例都比标题数字给人的印象小得多(分别是 2.2% 和 7.9%)。Gemini 4 的低幻觉率来自不答,而不是知道得更多,所以对上 Fable 5.2、Opus 5.5 和 Astra,只有当一个错误答案的代价达到正确答案价值的大约 1.1 到 7 倍时它才划算,具体倍数取决于对比组和档位。对上 Sol、Sonnet 和低价档模型,这种取舍基本不存在。看到任何被引用的幻觉率,先确认背后是哪个思考档位,再用你自己的数据统计答错占全部回答的比例。


