Un collega cambia il prompt, un altro prova un modello diverso, una terza persona aggiunge documenti e dopo una settimana tutti ricordano una versione vincente differente. Gli agenti AI abbassano il costo di produrre varianti, eseguire codice e analizzare risultati. Il collo di bottiglia si sposta: non è più avviare il test, ma capire quale prova rispondeva a quale domanda. OpenAI ha pubblicato il 6 settembre dati interni sul lavoro dei propri ricercatori. Ad agosto il numero di esperimenti per sperimentatore attivo ha raggiunto il massimo da quando l’azienda misura il dato, nel gennaio 2025. OpenAI segnala una correlazione con l’adozione di Codex, ma precisa che è cresciuta anche la capacità di calcolo. È una dichiarazione dell’azienda sul proprio ambiente, non una prova causale valida per ogni ufficio. La conseguenza generale è più solida: quando l’esecuzione accelera, decisione, analisi e comunicazione possono diventare il nuovo limite. OpenAI divide il lavoro in decidere, progettare, costruire, eseguire, analizzare e comunicare; gli agenti crescono soprattutto nelle attività esecutive, mentre la pianificazione di alto livello resta minima. Un team che automatizza soltanto la produzione può generare più risultati di quanti ne sappia valutare.
Perché è importante
- OpenAI riferisce che nell’agosto 2026 i propri ricercatori hanno eseguito più esperimenti che in ogni mese da quando misura il dato; la crescita è correlata sia agli agenti sia a maggiore capacità di calcolo.
- Più prove non equivalgono automaticamente a più apprendimento: senza ipotesi, casi fissi, costi e criterio di arresto non è possibile confrontare i risultati.
- Un registro condiviso di una riga per esperimento permette a un team di riutilizzare evidenze, scartare varianti e motivare una decisione senza trasformare il lavoro in sorveglianza.
Più esperimenti, meno memoria organizzativa
Per iniziare basta una tabella condivisa. Ogni riga contiene: problema, ipotesi, versione di prompt o agente, modello e data, dieci casi di prova, metrica principale, costo o tempo, revisore e decisione. Il campo più importante è l’ipotesi: «aggiungere esempi riduce gli errori nelle classificazioni ambigue» è verificabile; «migliorare il chatbot» non lo è. I casi devono restare fissi abbastanza a lungo da permettere il confronto e includere esempi normali, ambigui e rischiosi. Per una bozza email si possono misurare informazioni corrette, omissioni, correzioni umane e tempo totale. Per l’estrazione da documenti contano campi esatti, falsi positivi e casi non letti. Per un agente contano anche tentativi, azioni bloccate e ripristino dopo l’errore. NIST propone di adattare test, valutazione, verifica e validazione allo scopo e al contesto. Il suo progetto TEVV-Athlon non impone una classifica universale: chiede evidenza che il sistema raggiunga obiettivi reali limitando gli impatti negativi. Per una PMI la traduzione è concreta: metrica utile al compito, soglia di accettazione scritta prima e confronto con il metodo attuale.
Il primo giorno scegli un’attività circoscritta e raccogli il punto di partenza: quanto tempo serve, quanti errori compaiono e quante persone intervengono. Il secondo congela i casi e definisce due metriche: una di risultato e una di costo. Il terzo esegue non più di tre varianti cambiando un elemento alla volta. Se cambiano prompt, modello, documenti e strumenti insieme, non saprai che cosa ha prodotto la differenza. Il quarto giorno un revisore che non ha costruito la variante valuta i risultati senza sapere quale versione sta guardando quando è possibile. La separazione riduce il desiderio di premiare il proprio lavoro. Il quinto giorno il gruppo sceglie adottare, iterare o scartare e scrive la motivazione in due righe. Un test senza decisione resta un costo sospeso. Il registro non deve misurare la velocità delle persone né diventare una classifica individuale. Deve descrivere sistema, casi e risultato. Evita testi personali non necessari; anonimizza documenti e conserva soltanto ciò che serve a riprodurre la prova. Se il test usa dati di clienti o dipendenti, stabilisci base giuridica, accessi, scadenza e cancellazione prima di caricarli.
Cosa puoi farci concretamente
- Creare una tabella con problema, ipotesi, versione, casi di prova, metrica, costo, revisore, risultato e decisione.
- Usare almeno dieci casi reali stabili e un punto di partenza umano o tradizionale per ogni confronto.
- Chiudere ogni esperimento con adottare, iterare o scartare, indicando responsabile e data della verifica successiva.
Quando il registro fallisce, e come mantenerlo vivo
Una tabella troppo ricca diventa un archivio che nessuno compila. Mantieni obbligatori i nove campi e allega log o schermate soltanto per la variante finale. Assegna un proprietario al registro, non a ogni esperimento, e dedica quindici minuti settimanali a chiudere righe senza decisione. La disciplina vale più del software. Non riutilizzare per sempre gli stessi casi. Quando un modello impara indirettamente il set o il lavoro cambia, i punteggi smettono di rappresentare la realtà. Conserva un piccolo gruppo nascosto per la verifica finale e aggiorna i casi dopo incidenti, nuovi prodotti o cambi normativi. NIST raccomanda misure pre e post-deploy e documentazione dei rischi che non possono essere misurati. Il risultato utile non è il maggior numero di esperimenti. È poter rispondere a tre domande: che cosa abbiamo imparato, quale versione usiamo oggi e quando la controlleremo di nuovo. Se il team riesce a farlo, gli agenti aumentano capacità senza cancellare la memoria del lavoro. Il test di 30 giorni sul ROI dell’AI misura l’effetto complessivo; il registro rende confrontabile ogni passo che porta a quel risultato.
Per il business, l’AI diventa rilevante quando modifica una metrica operativa: capacità, qualità, tempo o rischio. Il numero di utenti e di conversazioni descrive l’adozione, ma non dimostra da solo un ritorno. Il collegamento al processo deve essere esplicito. Nel caso di “Il team prova dieci prompt e non ricorda quale ha funzionato: serve un registro degli esperimenti AI”, questo significa leggere la novità oltre l’annuncio e capire quali parti del lavoro vengono realmente modificate. Il rischio è estendere un progetto prima di avere una baseline e criteri di uscita. Costi di integrazione, revisione e cambiamento organizzativo possono superare le licenze. Una valutazione completa considera anche alternative più semplici. Le imprese più efficaci gestiranno un portafoglio di casi, ampliando quelli misurabili e interrompendo gli altri. Governance e formazione non saranno attività separate: diventeranno il metodo con cui la tecnologia viene scelta, controllata e migliorata. La notizia è quindi un indicatore di una trasformazione più ampia, che va seguita attraverso risultati e condizioni operative anziché con la sola successione degli annunci.
La domanda che resta
Creare una tabella con problema, ipotesi, versione, casi di prova, metrica, costo, revisore, risultato e decisione. Questo primo passo serve a trasformare il tema in un perimetro verificabile: un responsabile, un input conosciuto, un risultato atteso e una misura precedente con cui confrontarsi. Senza questi elementi il progetto rimane una dimostrazione difficile da valutare. Usare almeno dieci casi reali stabili e un punto di partenza umano o tradizionale per ogni confronto. L’azione deve essere documentata insieme ai criteri di controllo, indicando quali casi possono procedere e quali devono fermarsi. È così che l’esperienza delle persone diventa una regola applicabile e migliorabile nel tempo. Chiudere ogni esperimento con adottare, iterare o scartare, indicando responsabile e data della verifica successiva. Prima di estendere il metodo è utile raccogliere correzioni, tempi e costi per alcune settimane. Gli errori vanno raggruppati per causa: dati, istruzioni, strumenti o eccezioni del processo. Ogni categoria richiede un intervento diverso. OpenAI riferisce che nell’agosto 2026 i propri ricercatori hanno eseguito più esperimenti che in ogni mese da quando misura il dato; la crescita è correlata sia agli agenti sia a maggiore capacità di calcolo. È il punto da cui partire perché definisce l’effetto più immediato per professionisti e imprese. La sua importanza va misurata sul lavoro quotidiano: quante attività coinvolge, quali persone tocca e cosa accade quando il risultato non è corretto.
Più prove non equivalgono automaticamente a più apprendimento: senza ipotesi, casi fissi, costi e criterio di arresto non è possibile confrontare i risultati. Questo secondo elemento chiarisce perché non basta scegliere un prodotto. Servono un processo, dati affidabili e una responsabilità finale. L’adozione diventa sostenibile quando la tecnologia può essere osservata e corretta senza interrompere l’operatività. Un registro condiviso di una riga per esperimento permette a un team di riutilizzare evidenze, scartare varianti e motivare una decisione senza trasformare il lavoro in sorveglianza. Il terzo punto indica la prospettiva di medio periodo. La decisione migliore non è necessariamente quella con più funzioni, ma quella che mantiene valore, controllo e possibilità di evoluzione quando cambiano modelli, prezzi o requisiti.
Fonti
Documenti, comunicati e pubblicazioni consultati per ricostruire dati e contesto.
