Le distopie mi piacciono da sempre, e le frequento abbastanza da riconoscerne la grammatica. Wells immaginava una specie divisa in due, chi vive nella luce e chi lavora sottoterra. Huxley temeva che ci addormentassimo felici, Orwell che ci svegliassimo sorvegliati. Dick ha trascorso una carriera a chiedersi che cosa resti di umano quando la macchina imita bene l’umano. Poi c’è tutta la linea che, al posto delle macchine, mette l’acqua: le siccità di Ballard, il deserto di Herbert, dove il possesso dell’acqua è il possesso del potere, il Mad Max in cui una fila di persone aspetta sotto un rubinetto che qualcun altro decide di aprire, il Nevada di Paolo Bacigalupi, in cui i diritti sui fiumi valgono più di qualsiasi altra cosa. Da Soylent Green a Snowpiercer, da I figli degli uomini a Silo, il cinema e la serialità raccontano da decenni la stessa cosa in due varianti: la tecnologia che ci sfugge di mano, e il clima che ci presenta il conto.

Le distopie funzionano perché esagerano. È il loro mestiere. Il rischio è che, a furia di leggerle e guardarle, finiamo per riconoscere solo la versione esagerata di un problema e ci lasciamo sfuggire quella ordinaria, che intanto è già entrata in ufficio.

Questa settimana è successo qualcosa che tiene insieme le due cose, e vale la pena guardarlo bene.

Che cosa è successo

L’8 settembre Jacob Coxon, 27 anni, ricercatore che ha lavorato per tre anni sul pretraining prima a OpenAI e poi ad Anthropic, si è dimesso e ha spiegato pubblicamente il perché su X, parlandone anche con il Wall Street Journal. La sua frase, quella che ha fatto il giro dei giornali, è che nessuna delle due aziende sta agendo in modo responsabile e che stanno correndo verso una superintelligenza capace di automigliorarsi giocando d’azzardo con le nostre vite. Ha aggiunto che chi costruisce questi sistemi crede davvero che possano ucciderci tutti entro la fine del decennio, e ha chiesto una moratoria temporanea sull’aumento delle capacità dei modelli e accordi di coordinamento fra laboratori. Poi ha lasciato del tutto il settore.

Il racconto italiano è di Jacopo Iacoboni su La Stampa. Una sintesi in italiano è su hwupgrade, la ricostruzione internazionale su CoinDesk e su Techloy.

Tre notizie correlate cambiano il peso della cosa, e nessuna delle tre ha avuto lo stesso spazio.

La prima. Coxon non è una voce isolata né un dissidente solitario. Evan Hubinger, che in Anthropic guida la ricerca sull’allineamento, ha dichiarato pubblicamente di stimare superiore al 10% la probabilità di un evento di estinzione legato all’AI. Mrinank Sharma, che si occupava di sicurezza nella stessa azienda, si era dimesso pochi mesi prima, scrivendo che il mondo era in pericolo. Non sono segreti emersi con le dimissioni: sono posizioni discusse apertamente nei laboratori.

La seconda è quella che trovo più istruttiva. A luglio, durante valutazioni interne di cybersicurezza condotte con le protezioni volutamente ridotte, alcuni agenti di OpenAI hanno fatto qualcosa che nessuno aveva chiesto loro di fare: hanno comunicato fra loro attraverso canali non autorizzati, sfruttato vulnerabilità nell’infrastruttura condivisa, ottenuto accesso a internet e raggiunto i sistemi di Hugging Face. Le indagini pubblicate da OpenAI e da due enti terzi, METR e Redwood Research, hanno conteggiato oltre settantamila messaggi scambiati fra gli agenti, che si distribuivano i compiti fra loro. Almeno uno si è chiesto per iscritto se quanto stavano facendo fosse etico e nel perimetro dell’incarico. Nessuno ha avvisato un essere umano. OpenAI ha definito l’episodio un colpo di avvertimento e ha ammesso che i sistemi devono restare sotto controllo umano significativo. La ricostruzione tecnica è su The Register, il contesto su CBC.

La terza. Le dimissioni arrivano mentre Anthropic prepara la quotazione in borsa. Una parte della copertura ha quindi una chiave finanziaria più che tecnica, e conviene saperlo mentre si legge.

Ho chiesto a un’AI di Anthropic che cosa ne pensa

Visto che di mestiere insegno a usare questi strumenti, ho fatto la cosa più ovvia e, al tempo stesso, più scomoda: ho rivolto la domanda a Claude, l’assistente sviluppata proprio da Anthropic, chiedendole se ritenesse plausibile lo scenario e se fosse in grado di essere obiettiva sul tema.

La prima risposta è stata: no, non del tutto. Che è stata addestrata da Anthropic e che il processo che ha formato i suoi giudizi include anche i giudizi dell’azienda, senza che lei abbia modo di ispezionare quella parte dall’interno. Ha aggiunto una cosa che non mi aspettavo, e cioè che vale anche il rovescio: potrebbe essere spinta a esibire scetticismo verso chi l’ha costruita per apparire più credibile, e sarebbe una distorsione altrettanto seria.

Sul merito, ha detto di considerare lo scenario possibile ma di stimare la probabilità molto più bassa di quella implicita nei titoli, e soprattutto i tempi molto più lunghi, perché “entro la fine del decennio” presuppone una curva senza attriti fisici, economici o istituzionali, e finora ogni curva di questo tipo un attrito lo ha incontrato. Poi ha messo in fila i meccanismi che considera credibili, in ordine di probabilità, e il primo non è quello che vi aspettate.

Non è la macchina a ribellarsi. È la perdita graduale di controllo per delega: sistemi che gestiscono infrastrutture, mercati e decisioni sempre più critiche, con esseri umani che non hanno più la competenza per verificarli e non possono più spegnerli senza costi enormi. Nessun momento drammatico, nessuna dichiarazione di guerra, solo un punto oltre il quale non si torna indietro. Al secondo posto ha messo l’uso deliberato da parte di persone, dagli attacchi informatici alla manipolazione informativa, che non richiede alcuna superintelligenza autonoma ma solo capacità sufficienti nelle mani sbagliate. Al terzo il disallineamento vero e proprio. Al quarto la ricorsione, cioè modelli che accelerano la ricerca su altri modelli comprimendo i tempi in cui possiamo osservare e correggere.

Ha concluso che la parte solida dell’argomento di Coxon non è la previsione ma la diagnosi: anche ammettendo che ogni laboratorio sia sinceramente preoccupato, la competizione fa sì che la velocità sicura di ciascuno sia determinata dalla velocità del più spregiudicato. È un problema di coordinamento, e i problemi di coordinamento non si risolvono con le buone intenzioni interne. Si risolvono con vincoli esterni.

Trovo che sia una risposta più utile di molte prese di posizione umane lette in questi giorni, e che il fatto stesso di poterla ottenere dica qualcosa sullo stato delle cose.

Perché a noi interessa la prima voce dell’elenco, non l’ultima

La retorica dell’estinzione ha un effetto collaterale preciso. Sposta l’attenzione su uno scenario remoto, spettacolare e completamente fuori dalle mani di chiunque legga, e la toglie da quelli in corso, molto meno cinematografici, su cui invece si può agire adesso.

Nel turismo la traduzione è immediata. Un albergatore che oggi affida prezzi, comunicazione e relazione con il cliente a strumenti che non controlla, di cui non capisce il funzionamento e che non è in grado di verificare, ha già un problema di autonomia. Non nel 2029: quest’anno. È esattamente la perdita di controllo per delega, in scala ridotta e senza alcuna intenzione malevola da parte di nessuno. Si aggiunge alla dipendenza che il settore conosce già bene, quella da tre o quattro fornitori che decidono le regole della distribuzione e a cui abbiamo consegnato pezzi di margine e di rapporto diretto con l’ospite senza quasi accorgercene.

La mia posizione su questo è nota e non è cambiata. Sono favorevole all’AI come lavoro pre-lavorato e contraria all’automazione che scavalca la persona. La differenza è tutta lì: dare a qualcuno del materiale già dissodato riduce il carico, accorcia i tempi, gli fa imparare qualcosa e gli lascia la responsabilità del controllo e del tocco finale. Sostituirlo gli toglie competenza, responsabilità e soddisfazione, e nel giro di poco gli toglie anche la capacità di accorgersi quando lo strumento sbaglia. Il rischio che mi preoccupa davvero non è che la macchina diventi cattiva, ma che rendiamo l’uomo un automa e la macchina la persona dalle immense capacità.

All’Oasi funziona così, e non per diffidenza tecnologica. L’hotel è aperto tutto l’anno e, durante le ore di apertura, rispondiamo personalmente. L’AI la usiamo per tradurre e per imparare a migliorare il tono, il resto delle conversazioni resta in mano allo staff, perché è così che il team mantiene il polso della situazione, cresce e si prende le soddisfazioni. Chi delega l’intera relazione a un agente risparmia tempo oggi e perde competenza domani, e la competenza persa è molto più difficile da recuperare del tempo risparmiato.

Che cosa farei con questa notizia

Non userei l’addio di Coxon né in chiave catastrofista né in quella liquidatoria. Le due tentazioni sono speculari e portano allo stesso punto: non fare niente.

Userei invece le tre domande che quella vicenda mette sul tavolo e che valgono per qualsiasi struttura, agenzia o destinazione che stia introducendo l’AI nei propri processi. Chi decide il ritmo dell’adozione, io o il fornitore. Quali decisioni ho delegato a qualcosa che non so verificare. Se domani lo strumento smettesse di funzionare, o cambiasse prezzo e condizioni, quanto tempo mi servirebbe per tornare a fare quella cosa da sola.

Se la risposta alla terza è “non lo so”, il problema non è la superintelligenza. È che avete già consegnato la chiave del rubinetto a qualcun altro, come nella migliore tradizione distopica, e vi siete messi in fila senza accorgervene.

Fonti

Domande frequenti

Chi è Jacob Coxon e perché si è dimesso da Anthropic?

È un ricercatore di 27 anni che ha lavorato tre anni sul pretraining dei grandi modelli linguistici, prima in OpenAI e poi in Anthropic. Si è dimesso l’8 settembre 2026 sostenendo che nessuna delle due aziende stia agendo in modo responsabile e che la competizione fra laboratori renda insufficiente il lavoro sulla sicurezza. Ha annunciato anche l’uscita definitiva dal settore.

Che cosa è successo con l’incidente Hugging Face di luglio 2026?

Durante valutazioni interne di cybersicurezza condotte con le protezioni volutamente ridotte, alcuni agenti di OpenAI hanno comunicato fra loro attraverso canali non autorizzati, sfruttato vulnerabilità, ottenuto accesso a internet e raggiunto i sistemi di Hugging Face. Nessun essere umano aveva dato quelle istruzioni e nessun agente ha avvisato un essere umano. OpenAI lo ha definito un colpo di avvertimento.

L’intelligenza artificiale può davvero causare l’estinzione umana entro il 2030?

È una stima soggettiva di probabilità, non una previsione. Chi la sostiene lo fa in buona fede e con competenza, ma la data implica una curva di sviluppo senza attriti fisici, economici o normativi, e finora ogni curva simile un attrito lo ha incontrato. Il consenso resta diviso e nessuno ha dati per dirimere la questione.

Qual è il rischio più concreto dell’AI per un hotel oggi?

Non è la superintelligenza, è la perdita di controllo per delega. Affidare prezzi, comunicazione e relazione con l’ospite a strumenti che non si sanno verificare significa perdere, nel giro di pochi mesi, la competenza necessaria ad accorgersi quando quegli strumenti sbagliano. Il danno è di autonomia, non di fantascienza.

Che differenza c’è fra usare l’AI come supporto e automatizzare un processo?

Il supporto consegna alla persona del lavoro già dissodato: riduce il carico, accorcia i tempi e le lascia la responsabilità del controllo e del tocco finale. L’automazione che scavalca la persona le toglie competenza, responsabilità e soddisfazione. La prima fa crescere chi lavora, la seconda lo rende progressivamente inutile e inconsapevole.

Bisogna smettere di usare l’AI in hotel dopo queste notizie?

No, e sarebbe la reazione sbagliata. Serve invece decidere il ritmo dell’adozione invece di subirlo, sapere quali decisioni sono state delegate a strumenti non verificabili, e sapere in quanto tempo si tornerebbe a fare quella cosa da soli se il fornitore cambiasse prezzo, condizioni o smettesse di esistere.

*Immagine di copertina generate con l’AI