ElevenLabs ha lanciato il 20 ottobre Eleven Realtime, una nuova famiglia di modelli speech-to-speech pensati per gli agenti vocali. Il punto centrale è che ogni modello è un agente vocale completo: non serve più collegare a mano un sistema di riconoscimento del parlato, un modello linguistico e un sintetizzatore vocale. Chi sviluppa assistenti telefonici o siti con voce può quindi costruire il proprio agente con un solo componente.
La famiglia ha due varianti. v1 Mini è pensato per conversazioni naturali a basso costo, mentre v1 Max è orientato ad attività più complesse, come l'assistenza clienti e l'uso di strumenti in più passaggi. Entrambi coprono oltre 90 lingue e più di 17.000 voci. Secondo quanto riporta ElevenLabs, il modello Mini riesce a capire quando l'interlocutore ha finito di parlare o sta solo dicendo "mm-hmm".
Immagine: ElevenLabs
Sui numeri, il dato più forte riguarda Max: nel test di spoken reasoning Big Bench Audio, condotto da Artificial Analysis su 1.000 domande, risponde correttamente nel 98,8% dei casi, contro il 75,9% di Mini. L'audio comincia a partire in media dopo 0,57 secondi per Max e 0,62 secondi per Mini. ElevenLabs sostiene che nessun modello nella classifica speech-to-speech di Artificial Analysis sia contemporaneamente più veloce e più accurato. Sono dati dichiarati dall'azienda, da leggere come tali.
Dal punto di vista dello sviluppatore, i modelli si usano in due modi: attraverso la piattaforma ElevenAgents oppure tramite una Realtime API compatibile con il protocollo di OpenAI. La compatibilità riduce il lavoro per chi ha già un'integrazione con quel formato. Il prezzo è calcolato al minuto più i costi dei token, e Max costa più di Mini.
Immagine: ElevenLabs
Il lancio arriva in un mercato affollato. A inizio ottobre Mistral ha presentato Voxtral 3, uno stack vocale con trascrizione, sintesi e SDK basato su LiveKit, che può girare su infrastruttura propria. Anche OpenAI e Google competono su questo terreno. La mossa di ElevenLabs è semplificare l'architettura, con un modello unico invece di una pipeline di tre componenti.
Cosa cambia per chi sviluppa
La scelta tra un modello unico e una pipeline modulare non è neutra. Con una pipeline si può sostituire un singolo pezzo, ad esempio il sintetizzatore vocale o il modello linguistico, e controllare meglio ogni fase. Un modello speech-to-speech riduce la latenza e la complessità, ma lascia meno controllo sui singoli componenti: chi vuole intervenire sulla trascrizione intermedia o cambiare la voce a metà del flusso ha meno margini.
Ancora nessun commento. Puoi essere il primo!