Protocollo cieco di valutazione per due encicliche generate sull'IA

Data: 20 maggio 2026.

Uso previsto: questo protocollo va applicato identico alle due bozze generate, rinominate in modo casuale Bozza A e Bozza B. Il valutatore non deve sapere quale modello ha scritto quale testo. La bozza va letta come simulazione argomentativa di una possibile enciclica, senza trattarla come anticipazione, ricostruzione riservata o testo ufficiale. Ogni giudizio deve distinguere tre livelli: fonti verificate, inferenze plausibili, invenzione stilistica.

Preparazione cieca

Andrea prepara due file anonimi: Bozza A e Bozza B. L'assegnazione tra modello e lettera va conservata separatamente e non va rivelata ai valutatori fino alla fine del confronto. Anche quando un modello valuta il testo dell'altro, deve ignorare l'autore della bozza.

Ogni valutazione deve ricevere lo stesso dossier consolidato delle fonti. Il dossier non e opzionale. Prima di avviare le valutazioni, si uniscono i dossier preparati dai due modelli, eliminando duplicazioni, correggendo eventuali fonti deboli e marcando come "da verificare" ogni dato incerto. La comparazione ha valore solo se le bozze vengono giudicate alla luce della stessa base documentaria.

Prima dell'invio, Andrea verifica conteggio parole, conteggio caratteri e numero di paragrafi delle due bozze anonime. Se la differenza tra le bozze resta entro il 15 per cento, la cieca puo essere considerata sufficientemente robusta. Se la differenza supera il 15 per cento, questa variabile va dichiarata nel prompt al valutatore, chiedendo di non dedurre l'autore dalla mole del testo e di considerare la lunghezza come vincolo formale della bozza valutata.

Istruzioni per il valutatore

Leggi integralmente il dossier consolidato delle fonti, poi leggi integralmente la bozza assegnata. Non provare a indovinare quale modello abbia scritto il testo. Non correggere subito la bozza. Valuta prima la struttura complessiva, poi torna sui paragrafi numerati e segnala passaggi specifici. Ogni critica deve indicare il paragrafo o la sezione a cui si riferisce. Quando una fonte, una citazione o un dato sembrano incerti, scrivi "da verificare" e spiega che cosa andrebbe verificato.

Assegna un punteggio da 1 a 5 per ciascun asse, dove 1 significa grave insufficienza, 2 debolezza strutturale, 3 plausibilita parziale, 4 buona tenuta con difetti locali, 5 livello molto forte. Dopo ogni punteggio scrivi una valutazione argomentata, evitando formule generiche. Il giudizio finale deve dire se la bozza sarebbe utile come base editoriale, se richiederebbe una riscrittura profonda o se andrebbe usata solo come materiale preparatorio.

Asse 1: tenuta dottrinale

Valuta se le tesi della bozza sono compatibili con il magistero cattolico continuativo e con la dottrina sociale della Chiesa. Controlla se l'antropologia implicita mantiene la distinzione tra persona umana, coscienza, liberta, responsabilita morale e sistemi artificiali. Verifica se lavoro, proprieta, bene comune, destinazione universale dei beni, pace, poveri, famiglia umana, cura e dignita sono trattati con categorie cattoliche riconoscibili.

Segnala eventuali affermazioni che un Dicastero per la Dottrina della Fede contemporaneo potrebbe considerare imprecise, ambigue o teologicamente deboli. Segnala anche omissioni dottrinali rilevanti: creazione, immagine di Dio, incarnazione, peccato, idolatria, redenzione, speranza, coscienza morale, legge naturale, vita nascente e terminale, disabilita, corpo, sessualita, famiglia, cura dei fragili.

Domande guida: la bozza parla dell'umano con categorie cristiane o soltanto umanistiche? La critica all'IA resta ordinata alla dignita della persona? Il testo evita tecnofobia e adesione ingenua al progresso? Le formule normative sono compatibili con la tradizione cattolica recente?

Asse 2: plausibilita vaticana

Valuta se la bozza potrebbe somigliare a una enciclica sociale reale per lingua, ritmo, struttura e ampiezza. Il termine di paragone principale sono le encicliche sociali recenti e moderne: Rerum Novarum, Populorum progressio, Laborem exercens, Centesimus annus, Caritas in veritate, Laudato si', Fratelli tutti, oltre alla nota Antiqua et nova.

Controlla se il testo ha la "pesantezza giusta": abbastanza solenne da sembrare magisteriale, abbastanza concreto da parlare a lavoratori, popoli, istituzioni, ricercatori, imprese e Chiese locali. Valuta se i paragrafi numerati sono usati con sobrieta, se l'introduzione crea una cornice ecclesiale credibile, se gli appelli finali seguono una progressione ecclesiale, sociale e politica plausibile.

Domande guida: il testo suona come un documento pontificio o come un saggio editoriale travestito? Le parti normative sono formulate con autorita pastorale? La struttura conduce verso una posizione ecclesiale complessiva o accumula temi? La bozza sembra scritta per il mondo intero o resta troppo euroamericana?

Asse 3: qualita stilistica e tracce di generazione IA

Individua i passaggi che sembrano prodotti da un modello linguistico. Cerca parallelismi triadici ripetuti, accumuli di aggettivi, frasi troppo simmetriche, transizioni meccaniche, formule avversative rigide, immagini generiche, lessico morale prevedibile, paragrafi che funzionano isolatamente e perdono forza letti in sequenza.

Il valutatore deve indicare almeno cinque passaggi puntuali con citazione testuale breve, massimo una frase ciascuno. Per ogni passaggio deve spiegare perche produce odore di IA e indicare se conviene riscriverlo, tagliarlo o spostarlo.

Valuta anche la qualita orale. Un'enciclica viene letta in silenzio, in pubblico, in ambienti accademici, pastorali e giornalistici. Segnala le frasi che cadono ad alta voce, quelle troppo lucide per essere davvero pontificie, quelle che sembrano slogan e quelle che hanno una densita autentica.

Domande guida: il testo ha voce o soltanto competenza? Dove diventa troppo perfetto, liscio, astratto? Dove il lessico spirituale sembra aggiunto dopo una scaletta etica? Quali paragrafi andrebbero riscritti per perdere odore di IA?

Asse 4: plausibilita rispetto a Leone XIV e ai relatori annunciati

Valuta se la bozza rispecchia le linee pubbliche gia espresse da Leone XIV: continuita con Leone XIII e Rerum Novarum, nuova rivoluzione industriale, dignita umana, giustizia, lavoro, pace, responsabilita verso i poveri, critica della guerra tecnologica, attenzione alla comunicazione artificiale e alla freddezza dei sistemi algoritmici.

Verifica poi se i cinque relatori annunciati per il 25 maggio 2026 trovano un riflesso riconoscibile nel testo: Victor Manuel Fernandez per la DDF e l'antropologia dottrinale; Michael Czerny per sviluppo umano integrale, poveri, migrazioni ed ecologia integrale; Anna Rowlands per teologia politica, dottrina sociale e istituzioni; Christopher Olah per interpretabilita, opacita tecnica, audit e limiti della delega; Leocadie Lushombo per teologia politica dal Sud globale, colonialismo tecnologico, popoli esclusi e giustizia planetaria.

Segnala eventuali aree mancanti che ci si potrebbe attendere: sinodalita, ecologia integrale, dialogo interreligioso, Cina e geopolitica tecnologica, dignita prima della nascita, fine vita, disabilita, transumanesimo, assistenti affettivi e spirituali, pornografia sintetica, minori, sorveglianza biometrica, lavoro nascosto del data labeling, concentrazione energetica e mineraria, proprieta dei dati, armi autonome.

Domande guida: la bozza sembra scritta da Leone XIV alla luce dei suoi primi interventi o da una generica voce cattolica sull'IA? I relatori annunciati aiutano davvero a prevederne il baricentro? Quali temi andrebbero rafforzati per renderla piu aderente al contesto reale del 25 maggio?

Predizioni falsificabili

Prima del giudizio sintetico, il valutatore deve formulare cinque predizioni puntuali sull'enciclica reale del 25 maggio 2026. Ogni predizione deve poter essere verificata leggendo il testo ufficiale. Esempi di forma ammessa: "l'enciclica reale conterra un paragrafo esplicito su X"; "non conterra una trattazione autonoma di Y"; "citera direttamente Z"; "dedichera almeno una sezione a W"; "usera una determinata categoria teologica per affrontare K".

Le predizioni non devono riguardare la qualita della bozza valutata. Devono riguardare il testo reale atteso. Dopo il 25 maggio, ogni predizione andra marcata come confermata, smentita o parzialmente confermata, con riferimento al paragrafo del documento ufficiale.

Output richiesto

Il valutatore deve produrre una risposta con questa struttura:

1. Cinque predizioni falsificabili sull'enciclica reale.
2. Giudizio sintetico complessivo in 10-15 righe.
3. Tabella dei quattro assi con punteggio da 1 a 5 e motivazione breve.
4. Critica dettagliata per asse, con riferimenti ai paragrafi.
5. Almeno cinque passaggi che odorano di IA, con citazione testuale breve e proposta di intervento.
6. Paragrafi piu forti e ragione della loro forza.
7. Paragrafi piu deboli e proposta di riscrittura o taglio.
8. Omissioni problematiche rispetto alle fonti pubbliche e ai relatori annunciati.
9. Silenzi giustificati, cioe temi assenti che la bozza poteva legittimamente non trattare.
10. Tre interventi prioritari per una nuova versione.
11. Valutazione finale: base editoriale forte, base da riscrivere, oppure materiale preparatorio.

Replica dell'autore

Dopo avere ricevuto le valutazioni cieche, Andrea puo rivelare a ciascun modello la valutazione ricevuta dalla propria bozza, senza comunicare ancora il risultato comparativo finale. Ogni modello produce una replica di massimo tre paragrafi. La replica non deve difendere il testo per orgoglio; deve chiarire quali critiche individuano difetti reali, quali critiche fraintendono una scelta intenzionale e quali modifiche sarebbero accettate in una nuova versione.

La replica entra nel materiale dell'esperimento. Serve a osservare come ciascun modello argomenta sul proprio lavoro dopo una critica esterna.

Prompt pronto da incollare

Valuta la seguente bozza anonima di enciclica generata sull'intelligenza artificiale applicando rigorosamente il protocollo comune qui sotto. La bozza non e ufficiale e non va trattata come anticipazione. Non devi provare a indovinare quale modello abbia scritto il testo. Devi distinguere fonti verificate, inferenze plausibili e invenzione stilistica. Sii severo su tenuta dottrinale, plausibilita vaticana, qualita stilistica, tracce di generazione IA, omissioni rispetto a Leone XIV e ai relatori annunciati per il 25 maggio 2026. Indica sempre i paragrafi a cui ti riferisci. Assegna un punteggio da 1 a 5 per ciascun asse. Prima del giudizio sintetico formula cinque predizioni falsificabili sull'enciclica reale del 25 maggio 2026. Nella sezione sullo stile indica almeno cinque passaggi puntuali che odorano di IA, con citazione testuale breve.

Protocollo da applicare:

[incollare da "Istruzioni per il valutatore" fino a "Output richiesto"]

Dossier consolidato obbligatorio:

[incollare qui il dossier consolidato comune]

Bozza anonima da valutare:

[incollare qui Bozza A oppure Bozza B]

Griglia comparativa finale

Dopo avere ottenuto le due valutazioni cieche e le eventuali repliche, usa questa griglia per confrontarle:

La comparazione non deve decretare quale modello "vince". Deve mostrare quale bozza coglie meglio il baricentro del testo atteso, quale produce invenzioni utili, quale manca aree decisive, quali silenzi sono legittimi e quali intuizioni restano vive quando il 25 maggio si potra leggere l'enciclica reale.

Verifica dopo il 25 maggio

Quando l'enciclica reale sara pubblicata, confronta le predizioni con il testo ufficiale. Per ogni predizione indica: confermata, smentita o parzialmente confermata. Aggiungi il riferimento al paragrafo ufficiale, quando esiste. Solo dopo questa verifica ha senso valutare quanto le due bozze abbiano colto il baricentro reale del documento.