NVIDIA ha pubblicato su Hugging Face NemotronLabs RE-USE, un modello open da 9,6 milioni di parametri che elimina rumore di fondo, riverbero, distorsioni e artefatti di compressione dalle registrazioni vocali. Il modello è pronto per l'uso commerciale ed è distribuito con licenza OpenMDW 1.1.
Il compito è quello del cosiddetto universal speech enhancement: un'unica rete che riporta alla qualità originale una voce degradata da più cause insieme. RE-USE copre rumore additivo, riverbero, clipping, limitazione di banda, artefatti dei codec, perdita di pacchetti e microfoni di bassa qualità. Accetta frequenze di campionamento da 8 a 48 kHz e, secondo la scheda del modello, è indipendente dalla lingua. Nelle sovrapposizioni tra più parlanti cerca di preservare il parlante principale e di sopprimere gli altri.
Immagine: namiru.ai — https://namiru.ai/blog/nvidia-releases-massive-collection-of-open-models-data-and-tools-to-accelerate-ai-development
L'architettura combina un codificatore e un decodificatore convoluzionali con Mamba bidirezionale a 30 livelli per la modellazione tempo-frequenza. I dati di addestramento sono circa 2.500 ore di audio sintetico, a canale singolo, con un solo parlante e a 8 kHz. Il modello è stato rilasciato come versione v1, mentre una variante separata, RE-USE-laughter, è pensata per preservare meglio le risate.
Confronto con altri modelli aperti
Nella tabella pubblicata dalla stessa NVIDIA, il confronto è fatto sul set completo del test URGENT 2025 non-blind, rispetto al parlato pulito originale. Su questo insieme, RE-USE ottiene 2,57 in PESQ, 0,78 in STOI, 0,85 in LPS, 0,86 in similarità del parlante e 89,17% di accuratezza del riconoscimento vocale (CAcc), contro il 3,21 di UniPASE e il 3,34 di Sidon, che hanno rispettivamente 500 e 250 milioni di parametri. Su UTMOS, invece, RE-USE si ferma a 2,94, sotto Sidon (3,21). Su DNSMOS e NISQA il modello è vicino ai concorrenti più grandi, con 4,33 su NISQA contro 4,03 di UniPASE.
Le differenze cambiano con la frequenza di campionamento. Sul sottoinsieme a 16 kHz, RE-USE raggiunge 87,09% di CAcc, contro il 54,82% di UniSE; su UTMOS resta dietro UniSE (2,64 contro 2,77). A 44,1 kHz il modello supera Resemble Enhance su quasi tutte le metriche, con 91,54% di CAcc. A 48 kHz, RE-USE ottiene 3,63 in UTMOS, mentre ClearVoice si ferma a 3,01.
La scheda del modello sottolinea che i dati di performance provengono dai test dell'azienda. Un commento su alphasignal.ai riassume lo stesso quadro: Sidon ottiene punteggi migliori su alcuni predittori percettivi come UTMOS e DNSMOS, mentre RE-USE guida in PESQ, STOI, similarità del parlante e risultati di riconoscimento.
Perché conta
Immagine: LinkedIn — https://www.linkedin.com/pulse/nvidia-unveils-nemotron-3-new-era-open-enterprise-ready-fxjqc
La scheda indica due usi principali: migliorare la qualità di registrazioni per i creatori di contenuti e ripulire dataset vocali destinati all'addestramento di modelli di sintesi vocale (TTS) e di modelli linguistici con capacità audio (Speech LLM). Per questo secondo scopo, NVIDIA inserisce RE-USE in una serie di rilasci recenti sul parlato. Il 28 ottobre ha pubblicato Nemotron 3.5 Transcribe, un modello open da 30 miliardi di parametri totali che trascrive in 40 lingue e distingue fino a otto parlanti, insieme alla versione 2 del dataset Granary. Già prima, a inizio agosto, aveva presentato VoiceChat 11B, un modello per conversazioni vocali in tempo reale.
Per chi sviluppa, il dato più concreto è la combinazione di peso e prestazioni: un modello di questa scala può girare su hardware modesto, mentre per la lavorazione su GPU la scheda indica NVIDIA Ampere e Linux come ambienti supportati. Per clip più lunghe di 30 secondi, o in caso di errori di memoria GPU, il repository prevede uno script dedicato che spezza l'audio in blocchi, con parametri configurabili per dimensione del blocco e sovrapposizione.
Come si usa
Il modello può essere provato subito tramite la demo Gradio pubblicata nello spazio Hugging Face, caricando un file audio o video. Per l'uso locale, il repository fornisce script di inferenza: i file rumorosi vanno nella cartella noisy_audio/, e il risultato viene salvato in enhanced_audio/. L'estensione della banda, opzionale, richiede il pacchetto resampy. La scheda precisa che il modello accetta file.wav mono e restituisce file.wav mono nello stesso intervallo di frequenze.
Ancora nessun commento. Puoi essere il primo!