Cohere spiega quando conviene un’infrastruttura dedicata per Embed e Rerank

Due servizi possono inviare lo stesso numero di richieste a un modello e tuttavia generare carichi di lavoro molto diversi. Nella guida di Cohere su Embed e Rerank, pubblicata il 9 ottobre, l’azienda suggerisce di scegliere tra elaborazione condivisa e dedicata in base alla forma delle richieste, all’andamento del carico e ai requisiti di latenza. Si tratta di un’analisi pratica dell’infrastruttura, non dell’annuncio di una nuova tariffa o di un nuovo prodotto.

Per i team che realizzano sistemi di ricerca e RAG, questa conclusione è rilevante nella pianificazione dell’indicizzazione e delle richieste degli utenti: il numero di chiamate, da solo, descrive male il volume di calcolo. Un singolo lotto di documenti per gli embedding può richiedere più risorse di numerose brevi query di ricerca.

Perché le richieste al minuto possono trarre in inganno

Gli embedding trasformano i testi in rappresentazioni numeriche che un motore di ricerca usa per il confronto semantico. Durante l’indicizzazione iniziale di un catalogo, l’applicazione può inviare grandi lotti di descrizioni; nella ricerca ordinaria, invece, il modello riceve una breve query. Le due attività hanno esigenze diverse: l’elaborazione in batch si valuta in genere in base alla capacità di elaborazione e ai costi, mentre per la ricerca conta il tempo di risposta per l’utente.

Per Rerank è importante anche un altro parametro: quanti risultati candidati il sistema passa al modello per riordinarli. Nell’esempio di Cohere, una breve query viene confrontata con 50 documenti; l’azienda stima che questa elaborazione richieda circa 11.000 token. Aumentare il numero di candidati amplia il lavoro richiesto anche se la frequenza delle ricerche degli utenti resta invariata.

Cosa mostrano i calcoli di Cohere

L’articolo indica alcuni punti di pareggio orientativi per passare dal pagamento a consumo a una capacità dedicata: circa 20 richieste al minuto per indicizzare in batch 100 testi di circa 200 token ciascuno, circa quattro per documenti più lunghi e circa 29 per lo scenario Rerank descritto. Per gli embedding di brevi query di ricerca, gli autori stimano una soglia di decine di migliaia di richieste al minuto.

Queste cifre si basano su ipotesi specifiche: una GPU NVIDIA A10 dedicata, funzionamento a pieno carico 24 ore su 24, le dimensioni delle richieste indicate e le tariffe pubblicate. Cohere precisa inoltre che grafici e soglie cambiano al variare della durata di utilizzo, della configurazione hardware, degli sconti e del volume dei documenti. È utile considerarle un esempio del metodo di calcolo, non parametri universali.

La logica alla base della scelta, tuttavia, si applica anche oltre gli esempi specifici. Un carico costante e prevedibile può sfruttare meglio la capacità riservata; picchi brevi alternati a lunghi periodi di inattività si prestano più spesso al pagamento in base al consumo effettivo. Per la ricerca interattiva occorre inoltre verificare la latenza al carico previsto: la capacità massima dell’hardware non garantisce i tempi di risposta richiesti nelle condizioni operative.

Come applicare l’analisi al proprio sistema di ricerca

Prima di confrontare le opzioni, misurate alcuni parametri sul traffico reale: token e documenti per richiesta, dimensioni dei lotti di indicizzazione, candidati da riordinare, durata dei picchi e latenza obiettivo. Calcolate quindi i costi in base all’andamento effettivo del carico, non soltanto al numero medio di richieste. Per avere il quadro completo, confrontate le tariffe e le condizioni di distribuzione aggiornate con la pagina dei prezzi di Cohere: i modelli dedicati e l’elaborazione a consumo hanno tariffe diverse.

Per la ricerca ibrida è ragionevole valutare separatamente le varie fasi: la reindicizzazione in background del catalogo, le brevi query degli utenti e il riordino dei candidati. Questo calcolo aiuta a stabilire se conviene un’unica infrastruttura o se sia più vantaggioso gestire parti diverse della pipeline con modelli di distribuzione differenti. La conclusione pratica dell’articolo di Cohere è semplice: prima misurate il lavoro richiesto da ogni chiamata, poi scegliete come pagare e allocare le risorse.