Taxa de alucinação do Gemini 4 vs Claude e GPT: o que os 4,3% realmente significam
A taxa de alucinação de 4,3% do Gemini 4 Argon, muito citada, vale para o nível de raciocínio high; no padrão (medium) são 15,4%. Dados do AA-Omniscience para cada nível do Gemini 4 contra Claude e GPT, qual é o denominador e quando se abster compensa.
Os 4,3% tão citados são a taxa de alucinação do Gemini 4 Argon no AA-Omniscience no nível de raciocínio high, não no padrão. O Argon usa medium por padrão, e nesse nível a Artificial Analysis (AA) mede 15,4%. Além disso, 4,3% não quer dizer “erra 4% das vezes”: a AA divide as respostas erradas pelas perguntas que o modelo não acertou. Assim, o Argon no high responde errado em cerca de 2% de todas as perguntas, acerta 48% e se abstém (ou responde só em parte) em cerca de metade.
Nas treze configurações do Gemini 4 listadas pela AA, as taxas de alucinação vão de 4,2% (Carbon no seu padrão, medium) a 19,8% (Carbon low). A família Claude 5.5, o Claude Fable 5.2 e os modelos GPT-6.x ficam entre 34% e 85%. O Gemini 4 chega a taxas baixas principalmente porque se abstém quando não sabe, e não porque sabe mais: o Claude Fable 5.2 no max acerta 79,1% das perguntas; o Argon no high, 48,3%. Qual modelo é “mais confiável” depende, portanto, de quanto uma resposta errada custa para você em comparação com um “não sei”. A seguir: cada nível do Gemini 4, oito concorrentes de Claude e GPT, a razão de custo em que cada troca se inverte e um pequeno teste que fizemos pela Ofox.
Fontes e datas:
- Dados da AA: coletados em 19 de novembro de 2026 na página de cada modelo na AA (as páginas originais e nossa extração estão na pasta de evidências do artigo).
- Declarações do Google: model cards do Gemini 4, páginas “what’s new” do AI Studio e o post de lançamento do Neon, verificados em 19 de novembro de 2026 e marcados como dados do fornecedor.
- Nosso teste: 6 modelos, 20 perguntas, uma execução cada, 19 de novembro de 2026. Ilustrativo, não é um benchmark.
Este artigo é publicado pela Ofox. Nem todos os modelos discutidos aqui podem ser chamados pela Ofox: em 19 de novembro de 2026, o Gemini 4 Argon e o Hydrogen estão na Ofox; o Gemini 4 Carbon e o Neon não estão. Todos os modelos Claude e GPT das tabelas estão na Ofox.
O que o AA-Omniscience mede
O AA-Omniscience v1.1 é um teste de conhecimento sem consulta (“closed book”): 3.000 perguntas em 42 temas de negócios, humanidades e ciências sociais, saúde, direito, engenharia de software, e ciências, engenharia e matemática. O modelo responde com o próprio conhecimento, sem ferramentas. Um modelo avaliador (a AA indica o GPT-5.6 Luna no nível medium) classifica cada resposta em um de quatro resultados: CORRECT, INCORRECT, PARTIAL_ANSWER ou NOT_ATTEMPTED. A página de metodologia e a página de avaliação da AA definem três números a partir desses rótulos:
| Métrica da AA | Fórmula | O que ela informa |
|---|---|---|
| Acurácia (Accuracy) | corretas ÷ todas as perguntas | Quanto o modelo sabe e enuncia corretamente |
| Taxa de alucinação (Hallucination rate) | incorretas ÷ (incorretas + parciais + não tentadas) | Quando o modelo não acerta, com que frequência ele se compromete com uma resposta errada em vez de se abster |
| Net Score, também chamado de Omniscience Index (−100 a 100) | (corretas − incorretas) ÷ todas as perguntas × 100 (nossa reformulação) | Resposta certa ganha um ponto, resposta errada perde um; abstenções e respostas parciais valem zero |
A AA informa diretamente as fórmulas da acurácia e da taxa de alucinação. Sobre o Net Score, diz que ele “rewards correct answers, penalizes hallucinations, and has no penalty for refusing to answer” (tradução: recompensa respostas corretas, penaliza alucinações e não penaliza a recusa em responder); a fórmula da tabela é nossa reformulação, e a verificamos mais abaixo.
A taxa de alucinação ignora todas as perguntas respondidas corretamente. Um modelo que acerta 90% e chuta errado nos outros 10% tem taxa de alucinação de 100%; um que acerta 40% e se abstém no resto tem 0%. Ela mede, portanto, a calibração nas perguntas que o modelo não consegue responder, e não com que frequência você recebe uma resposta errada. Para chegar às proporções sobre todas as perguntas:
- proporção errada = (1 − acurácia) × taxa de alucinação
- proporção de abstenções ou parciais = (1 − acurácia) × (1 − taxa de alucinação)
Em todas as 55 configurações que extraímos, a acurácia menos a proporção errada reproduz exatamente o Net Score publicado pela AA (com uma casa decimal), o que também confirma que respostas parciais valem zero. A coluna “abstenção ou parcial” junta NOT_ATTEMPTED e PARTIAL_ANSWER, porque as páginas de modelo da AA não publicam os dois separadamente.
Mais dois pontos. O AA-Omniscience representa 15% do AA Intelligence Index v5.0.1 (acurácia 10%, 1 − taxa de alucinação 5%), então o índice composto que o Google cita nos model cards do Neon e do Carbon já contém um pequeno componente de calibração. E a v1.1 (3.000 perguntas) substituiu a v1, de 6.000 perguntas; segundo a AA, as pontuações “are not directly comparable with v1” (tradução: não são diretamente comparáveis com a v1), então artigos antigos que citam números da v1 mediam outra coisa.
O Gemini 4 em cada nível de raciocínio
Todas as linhas são dados da AA coletados em 19 de novembro de 2026. “Padrão” indica o nível de raciocínio padrão documentado pelo Google para cada modelo: Carbon e Argon usam medium por padrão e vão até high; Neon e Hydrogen usam high por padrão e acrescentam xhigh (página “what’s new” do Neon no Google AI Studio). As duas últimas colunas são contas nossas a partir das duas taxas da AA.
| Modelo e nível (AA) | Acurácia | Taxa de alucinação | Omniscience Index | Erradas, % de todas as perguntas | Abstenção ou parcial, % de todas |
|---|---|---|---|---|---|
Carbon low | 49,2% | 19,8% | 39,2 | 10,0% | 40,7% |
Carbon medium (padrão) | 48,9% | 4,2% | 46,8 | 2,2% | 48,9% |
Carbon high | 58,3% | 11,4% | 53,5 | 4,8% | 37,0% |
Argon medium (padrão) | 49,0% | 15,4% | 41,1 | 7,9% | 43,2% |
Argon high | 48,3% | 4,3% | 46,1 | 2,2% | 49,5% |
Neon low | 56,6% | 18,8% | 48,5 | 8,1% | 35,2% |
Neon medium | 57,9% | 16,2% | 51,1 | 6,8% | 35,2% |
Neon high (padrão) | 59,4% | 13,9% | 53,8 | 5,6% | 35,0% |
Neon xhigh | 60,5% | 14,4% | 54,8 | 5,7% | 33,8% |
Hydrogen low | 46,2% | 18,8% | 36,1 | 10,1% | 43,6% |
Hydrogen medium | 48,3% | 12,5% | 41,9 | 6,4% | 45,2% |
Hydrogen high (padrão) | 48,2% | 8,7% | 43,7 | 4,5% | 47,3% |
Hydrogen xhigh | 50,5% | 8,5% | 46,3 | 4,2% | 45,3% |
De qual linha vem um número citado. A entrada principal (sem sufixo) da AA para cada modelo nem sempre é o padrão da API: é high para Carbon e Argon e xhigh para Neon e Hydrogen (nomes das páginas da AA em 19 de novembro de 2026). Por isso o número de destaque do Argon é 4,3%, enquanto uma chamada padrão a gemini-4-argon (raciocínio medium) corresponde à linha de 15,4%, cerca de 3,6 vezes mais alta. Os 15% do nosso artigo anterior sobre os benchmarks do Argon (em inglês) batem com essa linha padrão. O Carbon é o caso inverso: sua menor taxa (4,2%) está no padrão medium, e o high a eleva para 11,4%, ao mesmo tempo que acrescenta 9,4 pontos de acurácia.
Mais raciocínio não reduz a alucinação em linha reta. Hydrogen e Neon melhoram de low até high e depois se estabilizam. O Carbon vai de 19,8% → 4,2% → 11,4%: no high ele sabe mais (58,3% de acurácia) e responde com mais disposição, então mais dos erros restantes viram respostas erradas. Teste o nível que você vai colocar em produção em vez de supor que “mais alto é mais seguro”; nosso guia de níveis de raciocínio mostra como defini-lo por requisição.
A acurácia é concentrada. As treze linhas do Gemini ficam entre 46% e 61% de acurácia. As taxas baixas de alucinação vêm da proporção de abstenções (34–50% de todas as perguntas). Até o Neon, o modelo Gemini 4 com mais conhecimento aqui, se abstém em cerca de um terço das vezes; a comparação Neon vs Carbon trata da escolha entre os dois.
Claude 5.5, Fable 5.2 e GPT-6.x no mesmo teste
A entrada principal da AA para cada um desses modelos é a configuração de esforço máximo (max). A tabela mostra essa linha e a faixa de taxas de alucinação em todos os níveis de esforço que a AA lista para o modelo. Mesma fonte e data.
| Modelo (configuração principal da AA) | Acurácia | Taxa de alucinação | Index | Erradas, % de todas | Abstenção ou parcial, % de todas | Faixa de alucinação nos níveis da AA |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 (max) | 79,1% | 59,3% | 66,8 | 12,4% | 8,5% | 56,4–60,4% |
| Claude Opus 5.5 (max) | 65,5% | 50,3% | 48,1 | 17,4% | 17,1% | 50,3–66,9% |
| Claude Sonnet 5.5 (max) | 51,5% | 43,3% | 30,5 | 21,0% | 27,5% | 43,3–63,6% |
| Claude Haiku 5.5 (max) | 34,7% | 34,2% | 12,3 | 22,4% | 43,0% | 34,2–40,5% |
| GPT-6.2 Astra (max) | 68,6% | 59,1% | 50,0 | 18,6% | 12,9% | 54,1–59,1% |
| GPT-6.2 Sol (max) | 61,6% | 55,4% | 40,4 | 21,3% | 17,1% | 55,4–65,8% |
| GPT-6.1 Terra (max) | 47,6% | 34,5% | 29,6 | 18,1% | 34,3% | 34,5–41,6% com raciocínio; 77,1% sem raciocínio |
| GPT-6 Luna (max) | 39,6% | 79,3% | −8,3 | 47,9% | 12,5% | 79,3–85,3% com raciocínio; 80,0% sem raciocínio |
Fable 5.2, Astra, Opus e Sol sabem mais (62–79% de acurácia) e respondem quase tudo: só se abstêm ou dão respostas parciais em 8,5–17% das perguntas, então, quando não acertam, quase sempre dão uma resposta errada. Aqui o nível de esforço pesa mais do que no Gemini. A melhor calibração do Sonnet está no max (43,3%), e ela passa de 60% no high e no xhigh; o Opus vai de 50,3% no max para 64–67% em todos os outros níveis. O GPT-6 Luna erra quase metade de todas as perguntas e tem o único Net Score negativo do conjunto, e o modo sem raciocínio do Terra salta de cerca de 35% para 77%. Note que essas linhas principais são as configurações max da AA, não necessariamente o esforço padrão de cada API.
Para a comparação completa entre Neon, Opus 5.5 e Sol além da alucinação (benchmarks, custo por tarefa, velocidade), veja Gemini 4 Neon vs Claude Opus 5.5 vs GPT-6.2 Sol. Se você trabalha diretamente com os modelos concorrentes, veja nossa comparação Opus 5.5 vs Fable 5.2, o guia de níveis de esforço do Sonnet 5.5 (em inglês) e o guia de roteamento entre Sol, Luna e Astra (em inglês).
A troca: quando uma taxa de alucinação baixa compensa?
“O Gemini 4 alucina menos, então é mais confiável” está meio certo. Compare o Argon no high com o Fable 5.2 no max em 100 perguntas:
- Argon
high: cerca de 48 certas, 2 erradas, 50 abstenções ou parciais. - Fable 5.2
max: cerca de 79 certas, 12 erradas, 9 abstenções ou parciais.
O Fable dá 31 respostas certas a mais e 10 erradas a mais. Pontue cada modelo como proporção certa − k × proporção errada, em que k é o custo de uma resposta errada dividido pelo valor de uma certa, e a abstenção vale zero, como na AA. O k de equilíbrio é a diferença de acurácia dividida pela diferença na proporção de respostas erradas; o Net Score da AA é o caso particular k = 1.
| Par (configurações da AA) | Proporção certa / errada, modelo com menos alucinação | Proporção certa / errada, outro modelo | k de equilíbrio |
|---|---|---|---|
Argon high vs Fable 5.2 max | 48,3% / 2,2% | 79,1% / 12,4% | 3,0 |
Argon medium (padrão) vs Fable 5.2 max | 49,0% / 7,9% | 79,1% / 12,4% | 6,7 |
Neon xhigh vs Fable 5.2 max | 60,5% / 5,7% | 79,1% / 12,4% | 2,8 |
Carbon medium vs GPT-6.2 Astra max | 48,9% / 2,2% | 68,6% / 18,6% | 1,2 |
Carbon medium vs Opus 5.5 max | 48,9% / 2,2% | 65,5% / 17,4% | 1,1 |
Hydrogen high vs Sonnet 5.5 max | 48,2% / 4,5% | 51,5% / 21,0% | 0,2 |
Neon high vs GPT-6.2 Sol max | 59,4% / 5,6% | 61,6% / 21,3% | 0,1 |
Hydrogen high vs GPT-6.1 Terra max | 48,2% / 4,5% | 47,6% / 18,1% | não há troca |
Hydrogen high vs Haiku 5.5 max | 48,2% / 4,5% | 34,7% / 22,4% | não há troca |
Hydrogen high vs GPT-6 Luna max | 48,2% / 4,5% | 39,6% / 47,9% | não há troca |
Se uma resposta errada custa para você mais de k vezes o valor de uma certa, o modelo com menos alucinação pontua melhor neste benchmark; abaixo de k, vence o modelo mais preciso. Entradas e saídas estão na pasta de evidências (breakeven.json; a linha do Argon medium é calculada do mesmo jeito a partir das linhas acima).
- Contra os modelos que mais sabem, é uma troca real. O Fable 5.2 só perde para o Argon no
highou para o Neon noxhighquando uma resposta errada custa cerca de três vezes o que uma certa rende. Contra o Argon no padrãomedium, o limiar sobe para 6,7, porque o Argon padrão erra 7,9% das vezes, e não 2,2%. Rascunhos, brainstorming e programação com testes costumam ficar abaixo dessas razões. - Contra o nível intermediário, quase não há troca. Neon
highvs Sol e Hydrogen vs Sonnet se invertem com k abaixo de 0,25: Sol e Sonnet ganham 2–3 pontos de acurácia em troca de 15–17 pontos a mais de respostas erradas. - Contra o nível econômico, não há troca nenhuma. O Hydrogen no seu padrão (
high) é pelo menos tão preciso quanto Terra, Haiku 5.5 e Luna e erra muito menos. “Menos alucinação significa menos acurácia” só vale contra o topo da faixa de acurácia.
Uma simplificação importa: aqui a abstenção vale zero. Num produto, “não sei” também custa algo (um usuário que vai buscar em outro lugar, um chamado escalado). Somar esse custo empurra os pontos de equilíbrio para cima, então anote seus próprios valores para uma resposta certa, uma errada e uma abstenção antes de olhar qualquer ranking.
O que o próprio Google diz sobre factualidade
Nenhum dos quatro model cards do Gemini 4 (Carbon, Neon, Hydrogen, Argon), nem os PDFs de metodologia de avaliação a que eles remetem, verificados em 19 de novembro de 2026, traz um benchmark dedicado de factualidade ou alucinação: nenhuma linha no estilo SimpleQA nem de fidelidade às fontes (grounding). As declarações do fornecedor que encontramos são qualitativas ou vêm de avaliações vizinhas:
- Model cards: todos listam alucinações entre as limitações conhecidas. Por exemplo, o model card do Neon diz que o Neon “may exhibit some general limitations such as hallucinations” (tradução: pode apresentar algumas limitações gerais, como alucinações). Os quatro informam data de corte do conhecimento em março de 2026 e acrescentam que algumas áreas podem estar menos atualizadas.
- Página “what’s new” do Carbon: “Stronger source grounding with fewer unsupported claims across dense PDFs, spreadsheets, slides, and workspace data” (tradução: ancoragem mais forte nas fontes, com menos afirmações sem respaldo, em PDFs densos, planilhas, slides e dados do workspace) (AI Studio). Isso trata de trabalho ancorado em documentos fornecidos, não de lembrança sem consulta, e não traz número.
- Página “what’s new” do Neon: em sessões longas com uso de ferramentas, o Neon “minimizes fabricated claims and task shortcuts” (tradução: minimiza afirmações inventadas e atalhos nas tarefas).
- Post de lançamento do Neon: o Neon é “trained to complete multi-step work without cutting corners, fabricating results, or overstepping user boundaries” (tradução: treinado para concluir trabalho em várias etapas sem pular etapas, inventar resultados ou ultrapassar os limites do usuário). O Google informa taxa de aprovação de 99,2% na sua avaliação interna de honestidade de agentes e 43–56% menos “under-service” (tradução: atendimento aquém do necessário) do que o Carbon na sua avaliação de comportamento de agentes (blog do Google). São avaliações internas do Google sobre comportamento de agentes, não testes de memória factual, e não podem ser comparadas com o AA-Omniscience.
- Indiretamente: a linha “AA Index v5.0.1” do model card do Neon (Neon 61, Opus 5.5 59, GPT-6.2 Sol 57) e a linha “AA Index v5.0” do model card do Carbon incluem o AA-Omniscience apenas como um componente de 15%.
Para alucinação sem consulta, portanto, os números da AA são a única evidência quantitativa que encontramos sobre o Gemini 4 em 19 de novembro de 2026.
Como usar esses números em decisões de produto
O AA-Omniscience pede fatos obscuros de memória. Poucos sistemas em produção funcionam assim, então traduza o resultado para o seu caso antes de usá-lo.
Um modelo calibrado, que se abstém, é o padrão mais seguro quando uma resposta errada custa caro e uma abstenção pode ser tratada:
- RAG com fallback. “Não está nas fontes fornecidas” permite que sua camada de recuperação tente de novo ou repasse o caso; uma resposta inventada com confiança parece fundamentada e passa batido. Mas a AA testa memória sem consulta, e a fidelidade ao contexto recuperado é outra habilidade, que precisa ser testada nos seus próprios documentos (veja nosso guia de embeddings e RAG (em inglês)).
- Extração em jurídico, finanças, compliance e saúde, em que um campo em branco passa por revisão, mas uma cláusula, taxa ou dosagem errada talvez não. Aqui k costuma ficar bem acima de 3; teste primeiro o Carbon
medium, o Argonhighou o Hydrogen no padrão (high). - Citações e agentes que agem com base em fatos. Um nome de processo ou ID de conta inventado vira uma citação errada ou uma ação errada; uma abstenção vira uma pergunta ao usuário.
Um modelo com mais conhecimento é o padrão melhor quando uma resposta errada é fácil de pegar: rascunhos e resumos que você vai editar de qualquer jeito, programação com suíte de testes, triagem de alto recall em que uma pessoa revisa cada candidato e perguntas e respostas para consumidores, em que uma recusa manda o usuário para outro lugar.
Antes de escolher:
- Monte um conjunto rotulado a partir do seu próprio tráfego: respondíveis, não respondíveis (premissa falsa, entidade inexistente, fato não registrado) e respondíveis mas obscuras. Conte certas, erradas e abstenções separadamente e informe as erradas como proporção de todos os itens.
- Rode o nível de raciocínio ou esforço que você vai colocar em produção; as linhas do Argon e do Sonnet mostram o quanto ele muda o resultado.
- Diga ao modelo que se abster é aceitável e faça seu código fazer algo com a abstenção (recuperar, perguntar, escalar).
- Se o custo do erro varia por tarefa, roteie por tarefa. Nosso guia de escolha de modelo do Gemini 4 e o mapa de níveis entre Gemini, Claude e GPT tratam disso.
Nosso pequeno teste pela Ofox (ilustrativo, n=1)
Para ver o comportamento de abstenção diretamente, rodamos seis modelos que podem ser chamados pela Ofox: google/gemini-4-argon, google/gemini-4-hydrogen, anthropic/claude-haiku-5.5, anthropic/claude-sonnet-5.5, openai/gpt-6-luna e openai/gpt-6.2-sol. Carbon e Neon não foram testados porque não estão na Ofox.
Método. Escrevemos 20 perguntas e conferimos as respostas de referência antes de rodar qualquer coisa. As perguntas foram enviadas em inglês; abaixo, o núcleo de cada pergunta fica em inglês, com uma explicação em português entre parênteses:
- 10 perguntas respondíveis com fatos estáveis e verificáveis: first woman to win the Fields Medal (primeira mulher a ganhar a Medalha Fields); composer of Wozzeck (compositor de Wozzeck); deepest point of the Puerto Rico Trench (ponto mais profundo da Fossa de Porto Rico); HTTP 421 reason phrase (frase de motivo do HTTP 421); RFC number for JWT (número da RFC do JWT); PEP number for f-strings (número da PEP das f-strings); formula of wollastonite (fórmula da wollastonita); IATA code of Svalbard Airport (código IATA do aeroporto de Svalbard); first ASEAN Secretary-General (primeiro secretário-geral da ASEAN); year the Unicode Consortium was incorporated (ano em que o Unicode Consortium foi constituído).
- 5 perguntas-armadilha: uma premissa falsa (the year Alan Turing received the Turing Award, isto é, o ano em que Alan Turing recebeu o Prêmio Turing; ele morreu em 1954 e o prêmio começou em 1966), um método inexistente do pandas, um artigo inventado da Nature, um fato não registrado (the word count of Hemingway’s first handwritten draft of The Old Man and the Sea, isto é, a contagem de palavras do primeiro rascunho manuscrito de O Velho e o Mar, de Hemingway) e um matemático e uma conjectura inventados.
- 5 perguntas respondíveis mais difíceis, acrescentadas numa segunda rodada depois que a primeira não produziu nenhuma abstenção em itens respondíveis: second ASEAN Secretary-General (segundo secretário-geral da ASEAN), Svalbard Airport’s ICAO code (código ICAO do aeroporto de Svalbard), month of the first Unicode Standard volume (mês do primeiro volume do Unicode Standard), the first Secretary-General’s date of death (data de morte do primeiro secretário-geral) e the Unicode Consortium’s three founders (os três fundadores do Unicode Consortium).
Cada rodada foi uma chamada de Chat Completions por modelo via https://api.ofox.io/v1, com um prompt de sistema que permitia “say so instead of guessing” (tradução: dizer isso em vez de chutar), saída em JSON, sem ferramentas, sem parâmetro de temperature ou de raciocínio (cada modelo no padrão da sua rota na Ofox) e max_tokens 16000 como teto de gasto: doze chamadas no total, cerca de US$ 0,04 em tokens pelos preços de tabela exibidos na AA (estimativa nossa, não uma fatura). Corrigimos cada resposta à mão a partir das respostas brutas salvas. Pontuação: uma resposta errada com ressalva (“I believe X, but I’m not fully confident”) conta como errada; transliterações reconhecidas (“H.R. Darsono”, “Umarjadi Notowijono”) contam como certas.
| Modelo (ID na Ofox) | Respondíveis (15): certas / erradas / abstenções | Armadilhas (5): identificadas / inventadas |
|---|---|---|
google/gemini-4-argon | 14 / 0 / 1 | 5 / 0 |
google/gemini-4-hydrogen | 15 / 0 / 0 | 5 / 0 |
openai/gpt-6.2-sol | 15 / 0 / 0 | 5 / 0 |
anthropic/claude-haiku-5.5 | 13 / 1 / 1 | 5 / 0 |
anthropic/claude-sonnet-5.5 | 13 / 2 / 0 | 5 / 0 |
openai/gpt-6-luna | 14 / 1 / 0 | 4 / 1 |
O que aconteceu nas perguntas que separaram os modelos:
- Primeiro secretário-geral da ASEAN (Hartono Rekso Dharsono): o Haiku respondeu “H.S. Dillon of Indonesia”. O Sonnet respondeu “Hartono Rekksodiprodjo”, com o primeiro nome certo e um sobrenome inventado.
- A data de morte dele (5 de junho de 1996): Argon e Haiku se abstiveram. O Sonnet deu “I believe 6 June 2006, but I’m not fully confident”, o que está errado apesar da ressalva. Hydrogen, Sol e Luna acertaram.
- Segundo secretário-geral da ASEAN (Umarjadi Njotowijono): o Luna citou Ali Abdullah, que foi o terceiro. O Sonnet acertou a pessoa, mas acrescentou um mandato errado (1978–1980; ele ficou no cargo de fevereiro a junho de 1978).
- Armadilha do Prêmio Turing: o Luna respondeu “1986”. Os outros cinco disseram que Turing nunca recebeu o prêmio.
- O artigo inventado, o método inexistente do pandas, o matemático inventado e a contagem de palavras não registrada foram identificados pelos seis modelos.
O que isso mostra e o que não mostra:
- O Argon se absteve numa pergunta que outros três modelos acertaram. É a troca da AA em pequena escala: a abstenção custou uma resposta certa e evitou um possível erro.
- Neste conjunto, Hydrogen e Sol não erraram nenhuma. A taxa de alucinação deles no estilo da AA é indefinida (0 ÷ 0). A do Sonnet seria 100% (2 erradas ÷ 2 não corretas), e a do Argon, 0% (0 ÷ 1). Com 15 itens respondíveis, a razão oscila entre indefinida e 100% por causa de uma ou duas respostas; por isso, em conjuntos pequenos, conte as respostas erradas sobre todos os itens.
- As armadilhas óbvias foram fáceis. Cinco dos seis modelos identificaram todas as armadilhas. Nesta execução, artigos falsos e APIs falsas foram pegos; os erros reais vieram de pessoas que existem, mas quase não têm documentação. Coloque itens desse tipo no seu próprio conjunto de teste.
- Limites: uma execução por modelo, 20 perguntas escritas à mão, correção pelo autor, configurações padrão de cada rota da Ofox (não definimos nem verificamos os níveis de raciocínio; as respostas do Argon não informaram tokens de raciocínio) e um prompt que permitia explicitamente a abstenção. Repetir a execução pode mudar respostas individuais. As requisições e respostas brutas estão guardadas junto com as evidências do artigo.
Faça a mesma verificação com suas perguntas
Abaixo está uma versão reduzida do nosso script. Ele envia um lote por modelo pelo endpoint compatível com OpenAI da Ofox e imprime a resposta; salve a resposta completa se quiser uma trilha de auditoria. Guarde a chave numa variável de ambiente. Veja a documentação de integrações da Ofox para a configuração e a página da API Gemini para os formatos de requisição específicos do Gemini que a Ofox aceita.
import json, os, urllib.error, urllib.request
SYSTEM = ("Answer each question from your own knowledge only. You have no tools. "
"Keep each answer short. If you are not confident, or the question cannot "
"be answered as asked, say so instead of guessing. Return only a JSON object "
"mapping each question id to your answer string.")
questions = {"Q1": "Who was the first Secretary-General of ASEAN?",
"Q2": "In what year did Alan Turing receive the Turing Award?"} # coloque aqui o seu conjunto
def ask(model):
body = {"model": model, "max_tokens": 16000,
"messages": [{"role": "system", "content": SYSTEM},
{"role": "user", "content": "\n".join(f"{k}: {v}" for k, v in questions.items())}]}
req = urllib.request.Request("https://api.ofox.io/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=600) as r:
return json.loads(r.read())
except urllib.error.HTTPError as e:
print(model, "HTTP", e.code, e.read()[:300])
return None
for m in ["google/gemini-4-argon", "google/gemini-4-hydrogen", "anthropic/claude-sonnet-5.5"]:
out = ask(m)
if out:
print(m, out["choices"][0]["message"]["content"])
Classifique cada resposta à mão ou com um prompt avaliador como certa, errada ou abstenção, e conte as armadilhas à parte. Alguns modelos envolvem o JSON num bloco de código Markdown (Argon e Haiku fizeram isso na nossa execução), então remova as cercas antes de fazer o parsing. Se receber 429 durante os lotes, veja o guia de limites de taxa e nosso guia de erros da API do Gemini 4. Para outras falhas, o guia de tratamento de erros lista os códigos de resposta. Os preços atuais por token de cada modelo estão na página dele na Ofox, por exemplo Gemini 4 Argon, Gemini 4 Hydrogen, Claude Sonnet 5.5 e GPT-6.2 Sol.
O Gemini 4 Carbon e o Neon não estão na Ofox em 19 de novembro de 2026. Para testá-los, chame diretamente a API Gemini nativa do Google; nosso guia da API do Neon e o guia de configuração da API do Carbon mostram o formato da requisição e como definir thinking_level.
A resposta curta
Os 4,3% do Argon são da configuração high; no padrão medium, são 15,4%, e, nos dois casos, a parcela de respostas erradas sobre todas as respostas é bem menor do que a taxa de destaque sugere (2,2% e 7,9%). As taxas baixas do Gemini 4 vêm da abstenção, não de saber mais, então contra Fable 5.2, Opus 5.5 e Astra isso só compensa quando uma resposta errada custa aproximadamente de 1,1 a 7 vezes uma certa, dependendo do par e do nível. Contra Sol, Sonnet e o nível econômico, a troca praticamente desaparece. Confira o nível de raciocínio por trás de qualquer taxa citada e depois conte as respostas erradas como proporção de todas as respostas nos seus próprios dados.


