Skip to Content
ModelosElevenLabs

Série ElevenLabs

Os modelos de voz da ElevenLabs, dois no total: Eleven v4 para síntese de voz e Scribe v2 para transcrição de voz. Ambos são chamados pelos endpoints de áudio compatíveis com OpenAI.

IDs de modelo (copie exatamente)
Eleven v4 (síntese de voz)elevenlabs/eleven_v4POST /v1/audio/speech
Scribe v2 (transcrição de voz)elevenlabs/scribe_v2POST /v1/audio/transcriptions

Os parâmetros gerais dos endpoints estão em Audio Speech API e Audio Transcriptions API. Os preços atualizados estão na página do modelo : a síntese de voz é cobrada por caractere e a transcrição, pela duração do áudio.

Síntese de voz com Eleven v4

Resumovoice deve receber um ID de voz, não o nome da voz; vozes da OpenAI como alloy não são suportadas.
eleven_tts.py
import os
from openai import OpenAI
 
client = OpenAI(base_url="https://api.ofox.io/v1", api_key=os.environ["OFOX_API_KEY"])
 
with client.audio.speech.with_streaming_response.create(
    model="elevenlabs/eleven_v4",
    voice="21m00Tcm4TlvDq8ikWAM",
    input="Olá, boas-vindas à síntese de voz da OfoxAI.",
    response_format="mp3",
) as resp:
    resp.stream_to_file("speech.mp3")
ParâmetroDescrição
voiceObrigatório. ID de voz da ElevenLabs (20 caracteres), por exemplo 21m00Tcm4TlvDq8ikWAM. Os IDs de voz podem ser encontrados na biblioteca de vozes da ElevenLabs . Enviar o nome da voz (por exemplo, Rachel) retorna 404
response_formatmp3 (padrão, 44.1 kHz), opus (48 kHz, em contêiner Ogg), wav (16 kHz), pcm (16 kHz, 16 bits mono). aac e flac não são suportados
language_codeCódigo de idioma, por exemplo zh, en; se omitido, é detectado automaticamente
provider_optionsRepassa parâmetros exclusivos da ElevenLabs, por exemplo {"elevenlabs": {"voice_settings": {"stability": 0.3}}}. A definição dos parâmetros está na documentação oficial da ElevenLabs 

Nos testes, uma frase em chinês de cerca de 20 caracteres retornou em cerca de 2 segundos, gerando cerca de 4 segundos de áudio.

Transcrição de voz com Scribe v2

Além do texto transcrito, o Scribe v2 retorna os tempos de início e fim de cada palavra e consegue identificar falantes diferentes.

scribe.py
import json
import os
from openai import OpenAI
 
client = OpenAI(base_url="https://api.ofox.io/v1", api_key=os.environ["OFOX_API_KEY"])
 
with open("meeting.mp3", "rb") as f:
    result = client.audio.transcriptions.create(
        model="elevenlabs/scribe_v2",
        file=f,
        extra_body={"provider_options": json.dumps({"elevenlabs": {"diarize": True}})},
    )
 
print(result.text)
for w in (result.model_extra or {}).get("words", [])[:10]:
    print(w.get("speaker"), w["start"], w["end"], w["word"])

Estrutura da resposta:

CampoDescrição
textTexto completo da transcrição
words[]Resultado por palavra, com word, start e end (segundos); com a separação de falantes ativada, inclui também speaker (por exemplo speaker_0, speaker_1)
languageIdioma identificado, por exemplo zho, eng
durationDuração do áudio (segundos)
usage{"type": "duration", "seconds": ...}, cobrança por duração
  • A separação de falantes é ativada por provider_options: {"elevenlabs": {"diarize": true}}, enviado como string JSON em um campo do formulário.
  • response_format aceita json e verbose_json, que retornam o mesmo conteúdo. Se precisar de um arquivo de legendas, gere-o a partir dos timestamps em words.

Erros comuns

HTTPMensagem de erro originalCausaSolução
404A voice with voice_id 'Rachel' was not found.voice recebeu um nome de voz ou um ID inexistenteUse o ID da voz
400unsupported ElevenLabs response_format: aacFormato não suportadoUse mp3, opus, wav ou pcm
400Unsupported response_format 'srt'. Only 'json' and 'verbose_json' are supported on this gatewayA transcrição usou text, srt ou vttUse json

Mais erros em Audio Speech API e Audio Transcriptions API.

Documentação oficial

Perguntas frequentes

O que informar em voice na ElevenLabs?

Informe o ID da voz (20 caracteres), por exemplo 21m00Tcm4TlvDq8ikWAM, que pode ser encontrado na biblioteca de vozes da ElevenLabs. Informar o nome da voz (por exemplo, Rachel) ou o alloy da OpenAI retorna 404 voice_id not found.

Quais formatos de áudio o Eleven v4 suporta?

mp3 (padrão), opus, wav e pcm. aac e flac não são suportados.

O Scribe v2 consegue distinguir falantes?

Sim. Envie {"elevenlabs": {"diarize": true}} por provider_options; cada palavra em words na resposta terá um campo speaker, por exemplo speaker_0, speaker_1.

O Scribe v2 pode gerar legendas srt diretamente?

Não. response_format aceita apenas json e verbose_json. Gere as legendas a partir dos timestamps start e end em words na resposta.

Como é cobrada a voz da ElevenLabs?

O Eleven v4 é cobrado pelo número de caracteres de entrada e o Scribe v2, pela duração do áudio. Os preços unitários estão na página do modelo.

Última atualização em
Hailuo (MiniMax)Gemini TTS