Tencent ha pubblicato WeMM-Video, una famiglia di modelli open per capire video, audio, immagini e testo nello stesso ragionamento. Le varianti sono quattro: 2B, 4B, 9B e 35B-A3B, dove la sigla indica 35 miliardi di parametri totali con circa 3 miliardi attivi per ogni token. La release è avvenuta il 19 novembre, con pesi su Hugging Face e un rapporto tecnico su arXiv.
Il punto distintivo è la lettura congiunta di immagini e suono. Il modello può combinare i fotogrammi di un video con la colonna sonora per descrivere ciò che accade, trascrivere il parlato e ragionare su quello che si vede e si sente. Accetta anche video muti, audio da solo, immagini e testo, e risponde in cinese o in inglese.

Immagine: collections — https://huggingface.co/collections/tencent/wemm-video
Un sistema di codifica separato per visione e audio trasforma i contenuti in token, che il modello elabora insieme al testo. I fotogrammi portano con sé il tempo, così il modello sa quando accade ciascun evento.
L'addestramento è stato condotto su circa 1,2 bilioni di token multimodali, con una fase di pre-addestramento progressivo e un post-addestramento in più stadi che combina distillazione da più modelli insegnanti (multi-teacher OPD), una tecnica anti-ripetizione chiamata MrDPO e apprendimento per rinforzo specialistico. Secondo il rapporto, i modelli sono stati valutati su più di 120 benchmark.
Dal rapporto, il modello di punta 35B-A3B si attribuisce un nuovo stato dell'arte open source nelle valutazioni video omnimodali. Il rapporto afferma inoltre prestazioni competitive su audio generico, video muto, immagini e testo. Sono cifre dichiarate da Tencent: al momento non risultano valutazioni indipendenti di questi risultati.
Il rapporto tecnico è disponibile in forma completa su arXiv, mentre la pagina dei modelli è su Hugging Face e il codice è su GitHub. Per chi sviluppa e ricerca, il segnale è che un'azienda cinese mette a disposizione in open weights una famiglia multimodale che copre video con suono, anche nelle versioni più piccole.

Ancora nessun commento. Puoi essere il primo!