Due modelli della nuova famiglia LFM3 di Liquid AI possono ora funzionare interamente sul telefono, senza connessione a internet e senza inviare nulla a un server esterno. Il merito va a Private Mind, un'app open source per iOS e Android che esegue modelli linguistici direttamente sul dispositivo.
Il primo modello è LFM3-1.7B, pensato per il testo. Il secondo è LFM3-VL-2B, che aggiunge la lettura delle immagini. Nel video di presentazione, il modello legge il menu di un ramen giapponese: alla domanda su cosa ordinare senza piccante, scarta la ciotola contrassegnata come molto piccante e suggerisce il ramen al miso; alla domanda sul pagamento con carta, individua la scritta che indica che si accettano solo contanti sotto i prezzi.
I numeri dichiarati su iPhone 16 Pro
Secondo quanto riportato dall'autore del post su Reddit, su un iPhone 16 Pro LFM3-1.7B nella versione testo, quantizzata a 4 bit con MLX ed eseguita sulla GPU, genera circa 40 token al secondo e restituisce il primo token in meno di mezzo secondo. Per LFM3-VL-2B, con una foto in ingresso, il primo token arriva in circa 9 secondi e la generazione procede a circa 20 token al secondo. Una domanda di testo successiva nella stessa chat, invece, inizia a rispondere in circa 5 secondi. Sono dati non verificati in modo indipendente.
Perché la conversione non è banale
Immagine: LiquidAI — https://huggingface.co/LiquidAI/LFM3-VL-2B
Il post sostiene anche che LFM3 non sia semplicemente una versione più grande di LFM2. Per questo il supporto già esistente a LFM2 in ExecuTorch, il runtime di PyTorch per dispositivi mobili, non basta. Secondo la descrizione, l'architettura alterna 24 livelli diversi: convoluzioni corte con porte da larghezza 7, attenzione completa e attenzione a finestra scorrevole. Esportarla ha richiesto componenti nuovi, che l'autore indica come parte del codice rilasciato.
Dove si colloca la famiglia
LFM3 comprende sei modelli da circa 2 miliardi di parametri, tutti derivati dalla stessa base, LFM3-1.7B-Base. Quattro coprono una modalità ciascuno (testo, visione, audio e omni), mentre due sono modelli decisionali ricavati da quelli di visione e omni. I pesi sono disponibili su Hugging Face. Il lavoro sull'edge si collega a LFM2.5-VL-3B, già visto su AlexTech, e alle prove di esecuzione locale su smartphone raccontate in questo articolo.
Una demo nel browser
Un'altra dimostrazione della stessa famiglia mostra la descrizione video in tempo reale con LFM3-VL-2B eseguito nel browser tramite WebGPU, con una demo pubblicata su Hugging Face. Il progetto è stato accolto con 139 voti e 21 commenti sulla comunità r/LocalLLaMA.
Il modello VL, secondo la documentazione ufficiale, elabora testo, immagini e video alla loro risoluzione nativa, combinando il backbone linguistico LFM3 con un nuovo encoder visivo ibrido di convoluzione e attenzione sviluppato internamente. Le schede dei modelli lo indicano per documenti, grafici, schermate di app e domande su video.
Ancora nessun commento. Puoi essere il primo!