Samaya AI ha presentato Sterling, un modello post-addestrato per la ricerca finanziaria agentica che, sul benchmark FrontierFinance, supera Claude Fable 5.1 spendendo circa undici volte meno per ogni domanda. Il risultato è dichiarato dall'azienda sul proprio benchmark: Sterling ottiene il 58,9% contro il 55,9% di Fable 5.1, a fronte di 0,61 dollari per domanda contro 6,89.
Sterling nasce da Nemotron 3.5 Lightning, un modello Nvidia da 30 miliardi di parametri totali in architettura mixture-of-experts, di cui 3 miliardi attivi per ogni token. Il modello base può girare su una singola H100 da 80 GB in BF16 con contesto fino a 256K token. Samaya non ha dichiarato né il contesto né l'hardware con cui serve Sterling.
Un'architettura pensata per un modello piccolo
Immagine: samaya.ai — https://samaya.ai
Il punto centrale del lavoro è l'adattamento dell'impianto software che Samaya usa in produzione per la finanza. Le istruzioni dettagliate sono state eliminate dal prompt di sistema e dalle descrizioni degli strumenti, e alcuni strumenti sono stati fusi per accorciare il prompt. Due modelli ausiliari gestiscono il contesto: un condensatore riduce i risultati lunghi degli strumenti, un compattatore riassume la traccia man mano che cresce. Un budget di ricerca limita il tempo di lavoro dell'agente, e alla fine un modello separato scrive il report partendo da ciò che è stato trovato.
Quattro fasi di addestramento
L'addestramento è stato fatto con LoRA sull'API di Thinking Machines Lab, in quattro passaggi. Nel primo, Samaya ha generato 968 domande da analista sintetiche, a ciascuna delle quali il modello insegnante Kimi K3 ha risposto due volte, e un giudice basato su LLM ha scelto la risposta migliore: così il modello ha imparato a chiamare 37 strumenti con argomenti validi. Nel secondo, Kimi K3 ha risposto a 1.819 domande scritte da esperti usando otto strategie di ricerca; la migliore risposta per domanda è diventata dato di addestramento, rimanendo 1.157 domande dopo il filtraggio. Seguono due fasi di GRPO, un metodo di apprendimento per rinforzo: una offline, che confronta le otto risposte dell'insegnante senza generarne di nuove, e una online, in cui il modello risponde a ogni domanda otto volte e impara dai tentativi valutati.
Samaya dichiara che nessuna domanda del benchmark è stata usata nell'addestramento e che i checkpoint sono stati scelti su 100 domande di validazione interne.
I numeri
FrontierFinance ha 220 domande pubbliche valutate con rubriche scritte da esperti, e il giudizio è affidato a un panel di tre modelli. Sterling impiega in media 282 secondi per domanda, contro i 268 di Fable 5.1. Ogni fase dell'addestramento ha aggiunto qualità: dal 42,5% del modello base al 51,4%, poi 54,8%, 57,5% e infine 58,9%. Il numero mediano di chiamate agli strumenti è passato da 3 a 17. In modalità ad alto sforzo Sterling arriva al 60,6%, a 1,83 dollari e 372 secondi per domanda. Sulla terza parte più difficile delle domande il punteggio è salito dal 31,8% al 45,2%.
Il solo modello costa 0,04 dollari per domanda: il resto dei 0,61 dollari va in strumenti e modelli ausiliari.
Cosa non sappiamo
Sterling non ha pesi pubblici né un'API annunciata, a differenza del modello base Nvidia, che è a pesi aperti con licenza OpenMDW 1.1. Non sono stati resi noti i prezzi dei token di Sterling. Il confronto con Fable 5.1 è costruito sul benchmark di Samaya stessa, che è stato pubblicato a luglio con l'intento di misurare gli agenti finanziari lungo tutto il flusso di lavoro dell'investitore, dalla selezione alla modellazione.
Il precedente di Samaya è recente: a luglio l'azienda aveva dichiarato che il proprio sistema agentico raggiungeva il 50,8% su FrontierFinance, superando il miglior modello di frontiera a un costo quattro volte inferiore. Sterling porta quel punteggio a 58,9%, con un modello molto più piccolo del sistema di partenza.
La lezione che Samaya ne trae per gli sviluppatori è pratica: addestrare insieme un modello piccolo e l'impianto che lo usa può farlo vincere in un dominio ristretto. Il risultato resta però autodichiarato e riguarda un solo benchmark.
Ancora nessun commento. Puoi essere il primo!