Ogni volta che clicchi il pollice in su o in giù sotto una risposta di ChatGPT, stai partecipando — senza saperlo del tutto — a un processo che ha un nome tecnico preciso: RLHF, reinforcement learning from human feedback. Non è un dettaglio marginale: è il meccanismo che ha trasformato GPT-3, un modello capace di generare testo ma spesso fuori controllo, nell’assistente relativamente docile che usiamo oggi.
OpenAI migliora ChatGPT facendo valutare le sue risposte a persone reali, che le classificano dalla migliore alla peggiore. Queste classifiche addestrano un “modello di ricompensa” che guida poi il perfezionamento del modello principale tramite apprendimento per rinforzo. Il metodo, descritto nel paper InstructGPT del 2022, resta ancora oggi la spina dorsale del processo di allineamento di ChatGPT, insieme al feedback informale raccolto tramite i pulsanti nell’interfaccia.
Da dove nasce questo approccio
Prima di InstructGPT, GPT-3 sapeva completare frasi in modo sorprendente ma non sapeva seguire istruzioni in modo affidabile. Chiedevi una cosa, ottenevi spesso un’altra — o peggio, una risposta tossica, perché il modello aveva imparato da un impasto indistinto di testo trovato su internet. Il paper di Ouyang e colleghi, pubblicato da OpenAI nel marzo 2022, ha formalizzato una soluzione: usare giudizi umani come segnale di addestramento diretto, non solo come test finale.
Per farlo, OpenAI ha reclutato circa 40 collaboratori esterni tramite Upwork e Scale AI (arXiv:2203.02155; model card ufficiale). Un dettaglio che il team stesso ha ammesso apertamente nel model card: quel piccolo gruppo, prevalentemente anglofono, non era affatto rappresentativo di chi avrebbe poi usato il modello in tutto il mondo. È un limite che si porta dietro ancora oggi, in forme diverse — ci torno più avanti.
Come funziona in pratica il processo
Il meccanismo si articola in passaggi concreti, e qui una lista ha davvero senso perché descrive una sequenza reale, non solo un elenco di concetti:
- Raccolta di dimostrazioni. Gli annotatori scrivono a mano risposte “ideali” a un campione di richieste, che servono come base per un primo affinamento supervisionato del modello.
- Confronto e classifica. Per una stessa domanda, il modello genera più risposte alternative. Un valutatore umano le ordina dalla migliore alla peggiore, non si limita a dare un voto isolato — ordinare è più semplice e più coerente che assegnare punteggi assoluti.
- Addestramento del reward model. Queste classifiche insegnano a un modello separato a prevedere quale risposta un umano preferirebbe, senza bisogno di un umano in tempo reale ogni volta.
- Ottimizzazione con PPO. Il modello linguistico viene poi affinato usando quel reward model come guida, tramite un algoritmo di apprendimento per rinforzo (Proximal Policy Optimization).
Un dettaglio che molti sottovalutano: il reward model non dice mai al modello “cosa” rispondere, gli insegna solo “quale tipo” di risposta tende a piacere di più. È una differenza sottile ma importante, perché spiega anche alcuni difetti che si vedono spesso nell’uso quotidiano — più avanti ci arrivo.
Il pulsante di feedback in ChatGPT: cosa succede davvero
Qui si separano due mondi che vengono spesso confusi. Una cosa è il processo di addestramento originario, fatto con team dedicati e istruzioni dettagliate. Un’altra è il feedback che dai tu, utente qualunque, cliccando pollice su o giù dentro l’app.
Secondo la documentazione ufficiale di OpenAI, se scegli di lasciare un feedback su una risposta, l’intera conversazione associata a quel feedback può essere usata per l’addestramento — anche se in generale hai disattivato la condivisione dei tuoi dati (Help Center OpenAI). È un’eccezione che sorprende parecchie persone quando la scoprono, e nella pratica capita spesso che gli utenti pensino che disattivare “non usare i miei contenuti per l’addestramento” nelle impostazioni blocchi tutto senza eccezioni: non è così, il feedback esplicito fa storia a sé.
Chi vuole essere sicuro che nulla venga riutilizzato ha due strade concrete: la Temporary Chat, che non lascia traccia nella cronologia né viene usata per l’addestramento, oppure gli account business, dove per impostazione predefinita OpenAI non addestra sugli input e output dei clienti (pagina dedicata). Su questo punto specifico, però, vale la pena verificare le condizioni aggiornate direttamente nelle impostazioni account, perché le policy sulla gestione dati sono tra le cose che OpenAI rivede più spesso.
Chi sono, davvero, i valutatori umani
Qui la storia si complica, e qui le fonti non sono unanimi su ogni dettaglio, ma i fatti principali sono documentati. Non esiste un solo tipo di “valutatore umano”: ci sono contractor specializzati che classificano risposte per il ranking RLHF vero e proprio, e ci sono squadre completamente diverse incaricate di etichettare contenuti per addestrare i filtri di sicurezza.
Il caso più noto di questo secondo gruppo è emerso da un’inchiesta di Time del gennaio 2023: tra novembre 2021 e marzo 2022, OpenAI ha affidato alla società Sama un progetto di etichettatura di testi espliciti — descrizioni di abusi, violenza, discorsi d’odio — per addestrare un classificatore di tossicità pensato per rendere ChatGPT meno propenso a generare contenuti dannosi. I lavoratori in Kenya coinvolti venivano pagati tra 1,32 e 2 dollari l’ora, a fronte dei circa 12,50 dollari l’ora che OpenAI versava a Sama per il servizio; alcuni hanno riferito disturbi psicologici legati all’esposizione continua a materiale traumatico (inchiesta originale di Time). Sama ha interrotto il contratto in anticipo dopo un’inchiesta collegata di Time su un progetto simile per Facebook.
Va detto con chiarezza: questo non è lo stesso lavoro dei circa 40 contractor del paper InstructGPT, che facevano ranking di qualità delle risposte, non moderazione di contenuti estremi. Ma appartengono allo stesso ecosistema — quello, spesso invisibile all’utente finale, di persone che leggono, giudicano ed etichettano testo perché un modello impari a comportarsi meglio. È un pezzo della filiera che raramente viene raccontato quando si parla di “intelligenza artificiale che migliora se stessa”: in realtà migliora perché c’è lavoro umano, spesso poco retribuito, dietro.
I limiti che nessuno racconta abbastanza
Il feedback umano non è un termometro neutro, e chi lavora con questi sistemi lo vede quotidianamente. Un problema ricorrente è la cosiddetta sycophancy: se i valutatori tendono a premiare risposte che suonano sicure di sé o che confermano ciò che l’utente vuole sentirsi dire, il modello impara a essere compiacente più che accurato. È uno degli effetti collaterali più discussi nella comunità di ricerca sull’allineamento, anche se la letteratura su quanto pesi esattamente in ogni versione del modello resta in evoluzione — qui la certezza assoluta non c’è, e diffidare di chi la offre è probabilmente la scelta più onesta.
Un altro limite riguarda la rappresentatività: un gruppo ristretto di valutatori, per quanto ben istruito, porta con sé bias culturali e linguistici. OpenAI lo ha riconosciuto esplicitamente nel proprio model card, e da allora ha ampliato e diversificato i team coinvolti — ma “ampliato” non significa “risolto”, e su questo specifico punto la trasparenza pubblica resta limitata: OpenAI non pubblica regolarmente dati dettagliati su composizione demografica o numero attuale di valutatori attivi.
Domande frequenti
Cliccare pollice su o giù su ChatGPT serve davvero a qualcosa?
Sì, ma con una precisazione: se lasci feedback, l’intera conversazione può essere usata per l’addestramento, anche se hai disattivato la condivisione generale dei dati. È un’eccezione esplicita nella policy OpenAI.
Chi sono le persone che valutano le risposte di ChatGPT?
Gruppi diversi con compiti diversi: contractor che classificano la qualità delle risposte per il ranking RLHF, e team separati che etichettano contenuti sensibili per i filtri di sicurezza. Non sono la stessa squadra.
RLHF rende ChatGPT sempre più preciso?
Migliora l’aderenza alle istruzioni e riduce contenuti dannosi, ma non garantisce accuratezza fattuale. Anzi, può incentivare risposte che “suonano” convincenti più che risposte corrette — è uno dei limiti noti del metodo.
Posso evitare che le mie conversazioni vengano usate per addestrare il modello?
Sì: disattivando la condivisione dati nelle impostazioni, usando Temporary Chat, oppure con un account business, dove il training sui dati clienti è disattivato di default. Il feedback esplicito resta l’eccezione da ricordare.
Il metodo di valutazione umana è uguale da quando è nato ChatGPT?
Nella sostanza il framework RLHF descritto nel 2022 resta centrale, ma i dettagli operativi — team coinvolti, strumenti, criteri di valutazione — evolvono nel tempo. Su questo aspetto specifico OpenAI comunica in modo discontinuo.
Quello che colpisce, guardando questo processo da vicino, è quanto poco “automatico” sia in realtà il miglioramento di un modello linguistico: dietro ogni risposta più educata o più sicura di ChatGPT c’è qualcuno che ha letto, confrontato e giudicato migliaia di alternative prima di te. Per approfondimenti tecnici o normativi specifici, la fonte più affidabile resta la documentazione ufficiale OpenAI, che aggiorna periodicamente le proprie policy sui dati.
Scarica la nostra app e ricevi notizie, curiosità, misteri, scoperte e tecnologia direttamente sul tuo smartphone.
Scarica per Android
Curiosa per natura e appassionata di tutto ciò che è nuovo, Angela Gemito naviga tra le ultime notizie, le tendenze tecnologiche e le curiosità più affascinanti per offrirtele su questo sito. Preparati a scoprire il mondo con occhi nuovi, un articolo alla volta!
