Quando la ricerca semantica non basta più
Grazie per avere letto questo articolo, non dimenticare di iscriverti al nostro feed!
I sistemi RAG (Retrieval-Augmented Generation) tradizionali mostrano i loro limiti quando devono gestire documenti complessi come bilanci aziendali, contratti legali o documentazione farmaceutica. Il metodo classico – dividere il testo in blocchi, calcolare gli embedding e recuperare i risultati più simili semanticamente – funziona bene per compiti semplici, ma crolla quando la posta in gioco si alza.
PageIndex, un nuovo framework open-source, propone una soluzione radicale: smettere di trattare il recupero delle informazioni come un problema di ricerca e iniziare a considerarlo come un problema di navigazione.
L’AlphaGo dei documenti
L’intuizione alla base di PageIndex è semplice ma potente: quando cerchiamo informazioni in un manuale tecnico o in un report annuale, non leggiamo ogni paragrafo linearmente. Consultiamo l’indice, identifichiamo il capitolo rilevante, poi la sezione, infine la pagina specifica.
Il framework replica questo comportamento umano costruendo un “Indice Globale” della struttura del documento, creando un albero dove i nodi rappresentano capitoli, sezioni e sottosezioni. Quando arriva una query, il modello linguistico esegue una ricerca ad albero, classificando esplicitamente ogni nodo come rilevante o irrilevante in base al contesto completo della richiesta.
“In termini informatici, un indice è una rappresentazione ad albero di un documento, e navigarlo corrisponde a una ricerca ad albero”, spiega Mingtian Zhang, co-fondatore di PageIndex. “Applichiamo la stessa idea – la tree search – al recupero dei documenti, proprio come AlphaGo la applica ai giochi”.
Il problema della similarità semantica
Il RAG tradizionale parte da un presupposto fallace: il testo semanticamente più simile alla query dell’utente è anche il più rilevante. Nei contesti professionali, questa assunzione crolla regolarmente.
Zhang porta l’esempio dei report finanziari: se un analista chiede informazioni sull’EBITDA, un database vettoriale recupererà ogni blocco dove appare quell’acronimo. “Più sezioni possono menzionare l’EBITDA con formulazioni simili, ma solo una definisce il calcolo preciso rilevante per la domanda”, spiega Zhang. “Un sistema basato sulla similarità fatica a distinguere questi casi perché i segnali semantici sono quasi identici”.
C’è poi il problema del contesto: i modelli di embedding hanno limiti rigidi sulla lunghezza dell’input, quindi il sistema vede solo la domanda specifica, ignorando i turni precedenti della conversazione.
Risultati concreti: 98,7% di accuratezza
L’impatto reale di questo approccio strutturale emerge nelle query “multi-hop”, che richiedono all’AI di seguire una traccia attraverso diverse parti del documento.
Nel benchmark FinanceBench, un sistema basato su PageIndex chiamato Mafin 2.5 ha raggiunto un’accuratezza record del 98,7%. Il divario prestazionale diventa evidente nell’analisi dei riferimenti interni.
Zhang descrive il caso di una query sul valore totale degli asset differiti in un report della Federal Reserve. La sezione principale descrive la “variazione” del valore ma non il totale. Il testo però contiene una nota: “Vedi Appendice G per informazioni più dettagliate”.
Un sistema vettoriale tipicamente fallisce qui: il testo nell’Appendice G – probabilmente solo una tabella di numeri – non assomiglia semanticamente alla query. Il sistema basato sul ragionamento, invece, legge l’indizio nel testo principale, segue il collegamento strutturale all’Appendice G e restituisce la cifra corretta.
La questione della latenza
La preoccupazione immediata per chi progetta sistemi enterprise è la latenza. Le ricerche vettoriali avvengono in millisecondi; far “leggere” un indice a un LLM implica tempi più lunghi.
Zhang però spiega che la latenza percepita dall’utente finale può essere trascurabile. “Il sistema può iniziare lo streaming immediatamente e recuperare mentre genera”, dice. “PageIndex non aggiunge un ‘gate di recupero’ extra prima del primo token, e il Time to First Token è paragonabile a una normale chiamata LLM”.
Questo cambiamento architetturale semplifica anche l’infrastruttura dati: eliminando la dipendenza dagli embedding, le aziende non hanno più bisogno di mantenere un database vettoriale dedicato. L’indice strutturato ad albero è abbastanza leggero da risiedere in un database relazionale tradizionale come PostgreSQL.
Quando usare PageIndex
La ricerca ad albero non è un sostituto universale della ricerca vettoriale. È uno strumento specializzato per il “lavoro profondo” su documenti lunghi e altamente strutturati dove il costo dell’errore è alto: manuali tecnici, documentazione FDA, accordi di fusione.
Per documenti brevi come email o chat, l’intero contesto spesso rientra nella finestra contestuale di un LLM moderno. Per compiti di scoperta puramente semantica – come raccomandare prodotti simili – gli embedding vettoriali rimangono la scelta superiore.
“I database vettoriali hanno ancora casi d’uso appropriati”, conclude Zhang. “Ma il loro ruolo storico come database predefinito per gli LLM diventerà meno chiaro nel tempo”.
