Qwen3.8-Flash-Next: 125B backbone, 180B su disco e solo 6B attivi per token

Cosa è accaduto

Il team Qwen di Alibaba ha rilasciato Qwen3.8-Flash-Next, un modello multimodale open-weight basato su architettura Mixture-of-Experts (MoE) progettato per contenere il costo per token. Il checkpoint combina un backbone da 125 miliardi di parametri con una tabella di embedding N-gram da 51 miliardi e un modulo di previsione multi-token da 4 miliardi: in totale 180 miliardi di parametri su disco, mentre per ogni token si attivano solo 6 miliardi di parametri.

La release introduce una combinazione architetturale che alterna tre livelli di Gated DeltaNet a un livello di Qwen Sparse Attention (QSA) su 48 layer, supporta una tabella N-gram di 20 milioni di voci e impiega una ricetta di training che include l'ottimizzatore Muon insieme ad AdamW. Il team indica un costo di training pari a circa 1/9 di Qwen3.7-Plus.

Perché è importante

Qwen3.8-Flash-Next mira a ridurre il costo computazionale per token mantenendo elevata la capacità complessiva del modello: la distinzione fra memoria su disco (180B) e attivazione per token (6B) è l'elemento chiave. Le scelte architetturali — Gated DeltaNet per comprimere lo storico in uno stato ricorrente di dimensione fissa e QSA per selezionare contesto a livello di micro-block — sono pensate per scalare a contesti molto lunghi mantenendo costante il budget di attenzione.

Dal punto di vista operativo, il modello è pubblicamente disponibile in checkpoint FP8 (172.78 GiB) e BF16 (335.28 GiB). Le dimensioni dei pesi rendono il self-hosting possibile solo su nodi multi-GPU e non su una singola workstation; le ricette di serving citano vLLM e SGLang fra gli strumenti supportati.

Possibili impatti

Impatto sull'infrastruttura: la strategia di attivazione sparsa riduce il compute richiesto per token ma non la memoria totale per i pesi, quindi le organizzazioni dovranno pianificare capacità di storage e nodi GPU adeguati per il deployment e l'offload della tabella N-gram, che per ora è supportato con offload asincrono su dispositivi NVIDIA secondo le note tecniche citate.

Impatto sui costi e sulla ricerca: il report del team indica una riduzione del costo di training di circa 9× rispetto alla generazione precedente, e dichiarazioni vendor riportano accelerazioni di kernel QSA variabili (per esempio valori di prefill e decode riportati nel materiale di distribuzione). Queste cifre sono descritte come vendor-reported e richiedono misure indipendenti per conferma.

Impatto applicativo: il modello dichiara capacità multimodali e una latenza/throughput migliorata in scenari con contesti lunghi (262.144 token nativi, estendibili fino a 1.000.000 con YaRN), il che può favorire casi d'uso agentici e applicazioni che richiedono memoria estesa. Tuttavia i benchmark riportati mostrano che il modello eccelle in molte aree ma non guida tutte le classifiche, quindi la scelta operativa dipenderà dai casi d'uso specifici.

Una possibile lettura

Qwen3.8-Flash-Next rappresenta un esempio di come i gruppi di ricerca stiano esplorando l'ibridazione di meccaniche lineari ricorrenti e moduli di attenzione sparsa per ottenere profili di costo per token significativamente più bassi pur mantenendo grande capacità di rappresentazione su disco. Se le metriche di efficienza e i guadagni di throughput vendor-reported saranno confermati in misure indipendenti, ciò potrebbe rendere più praticabile l'adozione di modelli molto grandi in contesti aziendali dotati di nodi multi-GPU.

Resta però un trade-off operativo da valutare: la memoria persistente richiesta per i pesi e la complessità di offload della tabella N-gram impongono vincoli infrastrutturali. Per team che considerano l'adozione è quindi necessario verificare licenza (qwen-community-1.0), requisiti hardware per FP8/BF16 e compatibilità degli strumenti di serving e fine-tuning con le pipeline esistenti.

Fonte: MarkTechPost