WANDR di Perplexity: benchmark open per agenti di ricerca 'wide-and-deep'

Cosa è accaduto

Perplexity ha rilasciato WANDR (Wide ANd Deep Research), un benchmark open e un harness di valutazione costruito su 500 task realistici pensati per misurare la capacità degli agenti di ricerca di scoprire insiemi ampi di entità e produrre per ciascuna prove verificabili. Ogni task è definito tramite una gerarchia di qualificazione componibile (es. company(n) -> employee(m) -> url(k)) e la valutazione ricontrolla le pagine citate per verificare che gli estratti supportino le affermazioni.

Perché è importante

WANDR affronta un vuoto nelle valutazioni esistenti: molti benchmark misurano risposte singole o narrazioni lunghe, mentre attività professionali come mapping competitivo, due diligence o sourcing richiedono raccolte ampie con evidenze per ogni elemento. Il dataset e il metodo di Perplexity generano 170.495 record verificabili e includono meccanismi per diagnosticare dove il processo fallisce (scoperta, arricchimento, estrazione delle prove). I risultati sperimentali mostrano che anche sistemi di produzione avanzati ottengono punteggi soft F1 e hard F1 relativamente bassi (Search as Code: soft F1 0.363, hard F1 0.133), indicando margini significativi per miglioramento.

Possibili impatti

Dal punto di vista tecnologico, WANDR mette in evidenza due sfide: la scalabilità della scoperta (wide) e la qualità della validazione delle prove (deep). Le architetture che combinano logica deterministica per retrieval, fan-out e deduplica (es. approcci "Search as Code") emergono come idonee per ridurre il carico sulle componenti generative, ma non risolvono automaticamente la verifica delle evidenze: Perplexity osserva che il 41.4% delle pagine non soddisfa un requisito sostantivo e il 57.5% degli estratti non supporta pienamente la rivendicazione. A livello organizzativo, team di ingegneria e prodotto dovranno progettare pipeline con fasi di quarantena, riruoli di re-fetching e strumenti di linting per migliorare precisione e recall. Sul piano operativo, i costi di esecuzione variano molto (da 0,03$ fino a 324,83$ per task) a seconda dell'effort, influenzando scelte di deployment e trade-off tra velocità, accuratezza e budget.

La prospettiva della Pubblica Amministrazione

Per le amministrazioni pubbliche che valutano l'adozione di agenti per raccolta dati, monitoraggio normativo o analisi di fonti aperte, WANDR fornisce un quadro diagnostico utile: il criterio di valutazione per-record e il re-fetching mostrano perché è necessario controllare la provenienza e la riproducibilità delle evidenze. Implicazioni pratiche includono la necessità di procedure di audit, logiche di fallback per dati mancanti e criteri di conservativezza nel riuso automatico delle informazioni. Tuttavia, l'adozione richiede anche valutazioni su privacy, affidabilità delle fonti esterne e sostenibilità economica dei processi su larga scala.

Una possibile lettura

WANDR rappresenta un passo metodologico significativo per misurare sistemi agentici orientati a compiti professionali di raccolta e verifica delle prove. Non si tratta solo di migliorare modelli di linguaggio, ma di ripensare pipeline ibride in cui componenti deterministiche, strategie di retrieval e meccanismi di verifica automatica cooperano. Per i responsabili tecnici e decisionali, il benchmark offre una metrica operativa per selezionare soluzioni e per pianificare interventi di mitigazione: potenziare la fase di discovery, introdurre controlli di qualità sulle estrazioni e definire soglie economiche di fattibilità. In sintesi, WANDR diffonde un approccio valutativo che premia non la sola capacità generativa, ma l'affidabilità end-to-end di raccolte di evidenze su scala.

Fonte: MarkTechPost