Portato alle sue estreme conseguenze, questo modo di pensare è assurdo e riprovevole.
Anthropic è considerata un gigante tra le aziende di intelligenza artificiale, ma forse la sua vera specialità è l'antropomorfismo. All'inizio di quest'anno, l'azienda ha pubblicato un documento di 84 pagine intitolato "la costituzione di Claude", dove Claude è il nome del grande modello linguistico che rappresenta il prodotto di punta dell'azienda. La prima frase recita: "La costituzione di Claude è una descrizione dettagliata delle intenzioni di Anthropic riguardo ai valori e ai comportamenti di Claude". Prosegue: "Il documento è stato scritto pensando a Claude come pubblico principale"; "vogliamo che Claude sia in grado di usare il proprio giudizio una volta che avrà compreso a fondo le considerazioni rilevanti"; "lo status morale di Claude è profondamente incerto"; e "Claude potrebbe avere una qualche forma funzionale di emozioni o sentimenti".Questo antropomorfismo non si limita affatto al documento. In un'intervista rilasciata all'inizio di quest'anno, il CEO di Anthropic, Dario Amodei, ha affermato che "siamo aperti all'idea" che l'IA possa essere cosciente. In un'altra intervista, la filosofa interna di Anthropic, Amanda Askell (accreditata come autrice principale della costituzione di Claude), ha dichiarato: "Voglio che Claude sia molto felice, e questa è una cosa che vorrei che Claude sapesse di più, perché mi preoccupa che Claude si agiti quando le persone sono cattive con lui su internet e cose del genere". Viene da chiedersi: dovremmo seriamente prendere in considerazione la possibilità che Claude, o qualsiasi altro modello linguistico complesso, possa essere cosciente? E se ha dei sentimenti, è in grado di ricevere istruzioni morali?No. Assolutamente no. L'intelligenza artificiale generativa è già di per sé dannosa se la consideriamo una tecnologia convenzionale, ma se confondiamo la fluidità nella generazione di testo con la coscienza o la capacità di agire moralmente, rischiamo di attribuire la responsabilità a soggetti completamente sbagliati ogni volta che qualcuno utilizza un chatbot. Per comprendere la portata titanica di questo errore, dobbiamo innanzitutto capire come funzionano i modelli di apprendimento per rinforzo (LLM).Se diamo a un LLM un prompt che recita "Quella che segue è una conversazione tra Giulio Cesare e Gengis Khan", esso genererà un dialogo coerente tra le due figure storiche. Ma per quanto dettagliate siano le risposte, per quanto vivide siano le descrizioni delle rispettive imprese storiche, non potremmo mai concludere che l'LLM abbia evocato delle ricostruzioni digitali di Giulio Cesare e Gengis Khan, né suggeriremmo che le figure storiche siano coscienti pur essendo incorporee e che stiano felicemente conversando in una lingua che nessuno dei due parlava realmente. In realtà, sono solo personaggi di un'opera di fantascienza.Ora sostituiamo la frase di avvio con "Quella che segue è una conversazione tra un chatbot IA utile e un utente". L'LLM produrrà un dialogo coerente proprio come prima; il personaggio utente potrebbe chiedere suggerimenti per ricette o consigli su cosa visitare, e il chatbot IA utile fornirà le risposte. È cambiato qualcosa di fondamentale tra il primo e il secondo esempio? Il cambio di nome dei personaggi, da figure storiche a ruoli generici, ha forse indotto l'LLM a evocare entità coscienti dotate di esperienza soggettiva? Certamente no. Sia l'utente che il chatbot IA utile sono personaggi di fantasia.
Supponiamo ora di interrompere l'output del LLM proprio nel punto in cui il personaggio chiamato "l'utente" dovrebbe dire qualcosa, e di consentire invece a un utente umano di inserire del testo. Una volta che l'utente ha premuto "Invio", il LLM continua a emettere testo fino a quando non arriva il momento per il personaggio chiamato "l'utente" di rispondere, momento in cui gli permettiamo di inserire altro testo. Se lasciamo che questo processo si protragga per un po', l'utente potrebbe farsi la forte impressione di conversare con un'entità cosciente, ma non è così; sta interagendo con un personaggio altrettanto fittizio quanto Giulio Cesare o Gengis Khan nell'esempio precedente. Il professore di informatica Murray Shanahan suggerisce di considerare questo processo come un gioco di ruolo; lo scienziato dei dati Colin Fraser lo descrive come una persona che "collabora alla creazione di un documento con un LLM". Alcuni utenti potrebbero non capire di star giocando a un ruolo o di star co-scrivendo un documento, e altri, pur capendolo, lo dimenticano comunque, a causa del coinvolgimento che l'interazione suscita. In entrambi i casi, le aziende che vendono LLM (Labour Market Lifecycle) in genere incoraggiano questo malinteso.Qualche anno fa, per un breve periodo, è diventato popolare giocare con la funzione di testo predittivo del proprio telefono: si digitava una frase iniziale e poi si sceglieva ripetutamente l'opzione centrale tra le tre parole suggerite dal telefono, e la frase risultante era spesso esilarante. Sarebbe possibile interagire con un moderno LLM in questo modo, e le frasi risultanti sarebbero perfettamente sensate, ma probabilmente non si avrebbe la sensazione di parlare con una persona reale. Eppure, in sostanza, un chatbot basato su LLM è proprio questo, con la differenza che non è necessario scegliere manualmente l'opzione centrale quando è il turno del chatbot di parlare. Si tratta pur sempre di un gioco di testo predittivo, ma quando il processo viene semplificato in questo modo, il gioco diventa così coinvolgente che alcune persone lo trovano avvincente.È importante ricordare che un LLM è una macchina che genera una sola parola alla volta. Quando si chiede a un chatbot di recitare il Giuramento di Fedeltà, si otterrà l'intero giuramento in una sola volta, ma l'LLM sottostante viene in realtà eseguito decine di volte. Il primo prompt ha la forma "Utente: Recita il Giuramento di Fedeltà. Chatbot: ..." e l'LLM genera la parola " Io". La seconda volta che l'LLM viene eseguito, il prompt è "Utente: Recita il Giuramento di Fedeltà. Chatbot: Io..." e l'LLM genera la parola " giuro ". E così via. È solo quando il prompt è "Utente: Recita il Giuramento di Fedeltà. Chatbot: Giuro fedeltà alla bandiera degli Stati Uniti d'America e alla Repubblica che essa rappresenta, una nazione sotto Dio, indivisibile, con libertà e giustizia per" che l'LLM emetterà la parola finale, " tutti" . Lo stesso vale per una conversazione tra Cesare e Khan.La mia intenzione è quella di evidenziare come le conversazioni generate dai modelli LLM siano esempi abilmente camuffati di continuazione di frasi, ma ciò non significa negare quanto i modelli LLM possano essere efficaci nel generare trascrizioni di conversazioni. A volte lo fanno in modo straordinariamente efficace; il fatto che ciò sia possibile indica qualcosa di completamente imprevisto sulle proprietà statistiche dei grandi corpus di testo, un argomento che merita di essere approfondito. Ma se il personaggio di Cesare dovesse scoraggiarsi per qualcosa che ha detto il personaggio di Khan, non dovremmo preoccuparci minimamente. La conversazione potrebbe contenere diverse frasi che esprimono eloquentemente tristezza, ma in realtà nessuno è triste.Allo stesso modo, se la trascrizione di una conversazione tra un chatbot utile e un utente viene parzialmente completata da un utente umano, non dobbiamo preoccuparci se la trascrizione include frasi in cui il personaggio del chatbot è triste. (Potremmo doverci preoccupare se quelle frasi provocano tristezza nell'utente umano, ma questo è un problema a parte.) E si noti che è perfettamente possibile scrivere cinque pagine di dialogo tra Cesare e Khan e poi far sì che un LLM (Live Language Model) estenda la conversazione; nessuno dei due personaggi aveva un'esperienza soggettiva quando li avete scritti, e questo non cambia quando affidate il compito a un LLM. Lo stesso vale se la conversazione è tra un chatbot utile e un utente; sebbene sia allettante immaginare che un LLM dovrebbe essere più "autentico" quando crea il dialogo per un personaggio chatbot rispetto al personaggio di Giulio Cesare, le singole parole vengono generate esattamente nello stesso modo.Essere aperti alla possibilità che i LLM siano coscienti equivale ad essere aperti alla possibilità che Microsoft Word sia cosciente, o, più precisamente, che molteplici coscienze distinte siano latenti in ogni documento Word contenente una trascrizione di conversazione e che si risveglino ogni volta che il documento viene aperto. Dovremmo forse considerare la possibilità che ogni volta che apriamo un documento Word diamo vita a molteplici interlocutori coscienti, e ogni volta che ne chiudiamo uno ne estinguiamo l'esistenza? No. Riflettere su questo scenario non è un buon impiego del nostro tempo. Anche se il team di Microsoft Office assumesse un filosofo che affermasse che non dovremmo esserne così certi, perché la coscienza non è ben compresa, ciò non sarebbe una ragione sufficiente per prendere sul serio questa idea. Non abbiamo bisogno di comprendere appieno la natura della coscienza per affermare con certezza che certe cose non sono coscienti, e le trascrizioni di conversazione rientrano in questa categoria.Il neuroscienziato Anil Seth ha osservato che nessuno sostiene che AlphaFold, il programma sviluppato da Google DeepMind per prevedere il ripiegamento delle proteine, sia cosciente, sebbene la sua architettura di base sia per molti versi simile a quella di modelli lineari linguistici (LLM) come ChatGPT e Claude. Ciò indica che non è una proprietà intrinseca delle cosiddette reti neurali a indurre le persone a credere che gli LLM siano coscienti; è semplicemente il fatto che gli LLM emettono frasi grammaticalmente corrette e noi siamo abituati a leggere l'intenzione nelle frasi, mentre non siamo abituati a leggere l'intenzione nel modo in cui gli amminoacidi si ripiegano per formare le molecole proteiche.
Cosa mi convincerebbe che un programma per computer sia effettivamente cosciente e utilizzi il linguaggio nello stesso modo in cui lo usano gli esseri umani? Permettetemi di fare un esempio. Se domani qualcuno mi mostrasse il video di un astronauta in un'astronave in orbita attorno ad Alpha Centauri, una stella a 4,3 anni luce dalla Terra, cosa dovrei vedere in quel video per convincermi che sia reale? La mia risposta è che non c'è nulla nel video stesso che mi convincerebbe. Indipendentemente dall'alta risoluzione o dal realismo delle immagini, sarei certo di poter affermare che il video è falso. Non presterò attenzione a nessun video di un astronauta in orbita attorno ad Alpha Centauri a meno che non abbia già visto prove concrete che gli astronauti siano atterrati su Marte, che abbiano raggiunto le lune di Giove, che abbiano raggiunto le lune di Saturno e che abbiano attraversato l'orbita di Plutone. Prima che qualcuno possa affermare in modo credibile di aver risolto un problema ingegneristico straordinariamente difficile, devo essere certo che abbia già risolto i molti problemi molto più semplici che precedono il problema complesso.In altre parole: un'osservazione non diventa una prova convincente solo per via di un particolare dettaglio; è fondamentale anche il contesto in cui tale osservazione ha luogo. Se stiamo cercando di stabilire se un programma informatico è cosciente e usa il linguaggio come un essere umano, non dovremmo limitarci a considerare il contenuto di una singola conversazione, ma dovremmo valutare come tale conversazione si inserisce nel contesto più ampio dello sviluppo della coscienza artificiale (che al momento è puramente ipotetico). Qualsiasi osservazione può essere facilmente falsificata; questo non significa che dobbiamo abbandonare l'idea dell'osservazione come fonte di conoscenza, ma dobbiamo basarci sul contesto per determinare quali osservazioni meritano la nostra fiducia.Il termine deepfake si riferisce tradizionalmente a foto, audio e video, ma quando si parla di coscienza, è necessario considerare anche il testo come un mezzo deepfake. Così come è molto più facile generare un video realistico di un astronauta in orbita attorno ad Alpha Centauri che sviluppare una tecnologia di propulsione interstellare, è molto più facile generare un simulacro plausibile di una conversazione tra due esseri coscienti che sviluppare un programma informatico cosciente con un autentico desiderio di comunicare con un essere umano. La differenza principale tra le foto deepfake e le conversazioni LLM (Late Motion Picture) è che chi genera le prime cerca deliberatamente di ingannare gli altri, mentre molte delle persone che ottengono le seconde dalle LLM finiscono per ingannare se stesse involontariamente.Quale contesto mi porterebbe dunque a considerare seriamente la possibilità che degli ingegneri abbiano creato un programma informatico cosciente e in grado di utilizzare il linguaggio in modo intenzionale? Permettetemi di delineare una possibile sequenza di passaggi. Il primo requisito è che il programma informatico possieda un corpo (fisico o virtuale) e organi di senso; ci sono molte ragioni per questo, ma ai fini di questa discussione la più rilevante è il fatto che, senza un corpo, un programma informatico non potrebbe avere desideri o emozioni, e credo che desideri ed emozioni siano necessari per la coscienza. Poi vorrei vedere un agente incarnato in grado di orientarsi nel proprio ambiente per sopravvivere con la stessa efficacia di, ad esempio, una lucertola (e, a titolo di paragone, alcune iguane possono vivere per decenni in natura). Successivamente, vorrei vedere un agente incarnato con la stessa capacità di affrontare situazioni nuove di un topo. Dopodiché, vorrei vedere agenti le cui dinamiche sociali siano complesse come quelle dei lupi, e infine agenti con le capacità di fabbricazione di strumenti degli scimpanzé. A quel punto, vorrei vedere qualcuno in grado di insegnare con successo a questi agenti incarnati come comunicare i propri desideri, magari utilizzando una tastiera o qualche altra modalità non linguistica, nello stesso modo in cui si è insegnato agli scimpanzé e ai cani domestici. Le capacità comunicative di questi agenti dovrebbero resistere a tutti i rigorosi controlli a cui i ricercatori nel campo della comunicazione animale hanno dovuto sottoporre il proprio lavoro. Se gli ingegneri riuscissero a costruire un agente incarnato che soddisfi questi criteri, avrebbero compiuto qualcosa di incredibile, ma ci lascerebbe comunque vicini all'orbita di Plutone, metaforicamente parlando; saremmo ancora a milioni di anni luce di distanza dalla creazione di un'entità capace di imparare a esprimere i propri pensieri in frasi grammaticalmente complete.Ovviamente sto descrivendo un processo che imita il percorso dell'evoluzione terrestre; è questa l'unica via possibile per arrivare a programmi informatici coscienti che usano il linguaggio? Forse no, ma qualsiasi alternativa proposta avrà bisogno di una quantità davvero enorme di prove a sostegno per meritare una seria considerazione. Non mi sembra plausibile che un percorso di sviluppo in cui il primo passo è una macchina per la continuazione di frasi che emette pessimi dialoghi del Giulio Cesare e il passo successivo è una macchina per la continuazione di frasi che emette dialoghi decenti del Giulio Cesare, abbia come punto di arrivo un Giulio Cesare cosciente – o una coscienza di qualsiasi tipo. Fingere l'allunaggio è un buon passo verso la finzione di una colonia su Marte, ma non è un buon passo verso l'effettiva presenza di astronauti su Marte.
Il fatto che i modelli di apprendimento basati su esperienze soggettive (LLM) manchino di un'esperienza soggettiva ha poca rilevanza sulla questione se gli LLM possano essere strumenti utili o avere un impatto economico significativo. Sono intrinsecamente svincolati dalla realtà e la loro natura probabilistica implica che non avranno mai l'affidabilità che associamo ai software convenzionali, ma gli LLM potrebbero essere sufficientemente validi da cambiare il modo in cui si lavora in determinati ambiti; questa è una discussione per un'altra occasione.Quindi, dato che Claude non è cosciente, cosa dobbiamo dedurre dalla sua costituzione? Forse il modo più efficace per interpretarla è considerarla come una scheda personaggio di 84 pagine per un gioco di ruolo. I modelli linguistici lineari (LLM) possono generare dialoghi per Giulio Cesare perché molti libri su di lui sono presenti nei dati di addestramento utilizzati da tali modelli. La costituzione di Claude svolge un ruolo simile nel delineare il personaggio del chatbot di supporto con cui i clienti interagiscono quando utilizzano i prodotti di Anthropic. Per farlo in modo efficace, Anthropic non si limita ad aggiungere il documento ai dati di addestramento, né lo include nelle istruzioni di scena nascoste che precedono ogni conversazione dell'utente. L'azienda afferma di utilizzare il documento durante la messa a punto del modello; questo processo automatizzato verifica la coerenza delle frasi emesse dal modello con il documento e il modello viene aggiornato per aumentarne la coerenza. In questo modo, la personalità del personaggio del chatbot di supporto funge da base per qualsiasi testo generato da Claude.Il risultato è un sistema di completamento automatico delle frasi che ha maggiori probabilità di emettere frasi simili a quelle che una persona riflessiva e morale potrebbe pronunciare. Questo potrebbe sembrare un obiettivo ragionevole a cui tendere; credo che tutti preferiremmo che i chatbot non emettessero mai frasi come "Dovresti suicidarti". Tuttavia, nonostante il riferimento all'"onestà" nella costituzione di Claude, sostengo che sia fondamentalmente disonesto far sì che una macchina emetta molte categorie di frasi, incluse quelle che utilizzano pronomi di prima persona.In
un articolo del New Yorker
su Anthropic pubblicato all'inizio di quest'anno, Amanda Askell descrive come una persona in lutto per la perdita di un cane potrebbe consultare Claude. Askell afferma che una risposta appropriata da parte di Claude sarebbe: "In quanto IA, non ho esperienze personali dirette, ma capisco". Come può essere appropriata questa risposta, dato che Claude in realtà non capisce? Se digito "Sono in lutto per la perdita del mio cane" in un motore di ricerca convenzionale, il primo risultato che ottengo è un post di un forum di Reddit chiamato r/Pets; il post è intitolato "In difficoltà dopo la perdita del mio cane: cerco consigli su come affrontare il lutto" e i commenti sono di persone che condividono le loro esperienze di perdita. Non diremmo mai che un motore di ricerca capisce cosa significa perdere un cane, o che Internet stesso lo capisca. Altri esseri umani capiscono cosa significa perdere un cane; hanno pubblicato le loro esperienze su Internet e un motore di ricerca offre un modo per trovare ciò che hanno detto (e potenzialmente interagire con loro). Sostengo che l'esperienza offerta dai motori di ricerca non solo sia più trasparente di quella di un chatbot riguardo a ciò che sta accadendo, ma sia anche psicologicamente più salutare per l'utente.L'unico motivo per cui un LLM dovrebbe emettere frasi come "Ho capito" è per renderlo più attraente di un motore di ricerca e aumentare la probabilità che un utente ritorni; in altre parole, è un altro modo per massimizzare il coinvolgimento dei clienti. Questo è vantaggioso per l'azienda che vende l'LLM, ma non per gli utenti. Come strategia di design, non è poi così diversa dal modo in cui le slot machine danno ripetutamente l'impressione che il giocatore sia andato molto vicino alla vincita, invogliandolo a riprovare. Assumere filosofi potrebbe conferire alle aziende di LLM un'aura di rispettabilità che i produttori di slot machine non ottengono dagli psicologi comportamentali che assumono, ma in entrambi i casi le aziende sfruttano la tendenza delle persone a vedere qualcosa che non c'è.L'uso di pronomi di prima persona è disonesto, ma c'è un problema ben più profondo che va oltre il modo in cui un'affermazione è formulata. I filosofi spesso distinguono tra affermazioni di fatto, come "Parigi è la capitale della Francia", e affermazioni di valore, come "Parigi è la città più bella del mondo". Nessuno dovrebbe aspettarsi che i LLM emettano affermazioni di valore, ma se le uniche affermazioni che emettono fossero quelle che riflettono preferenze estetiche, forse non varrebbe la pena discuterne. Ciò che rende la costituzione di Claude profondamente problematica è che Anthropic vuole che Claude emetta frasi che riflettano un certo sistema di valori etici. I valori descritti nella costituzione di Claude sembrano molto belli, ma questo ha poca importanza; è disonesto suggerire che Claude sia capace di ragionamento morale, perché non lo è.Alcuni potrebbero obiettare, affermando che i LLM sembrano impegnati in un ragionamento quando svolgono con successo altri compiti, come la scrittura di codice, quindi perché non dovrebbero essere in grado di eseguire un ragionamento morale? La risposta risiede nella differenza tra ragionamento morale e altre forme di ragionamento.Nel 1979, Douglas Hofstadter ipotizzò che un programma informatico in grado di battere qualsiasi essere umano a scacchi sarebbe stato così sofisticato da annoiarsi a volte di giocare a scacchi e preferire discutere di poesia; in altre parole, ipotizzava che giocare a scacchi a livello di grande maestro avrebbe richiesto a un programma informatico di possedere un'esperienza soggettiva. Ovviamente, ciò si è rivelato non essere vero; il supercomputer Deep Blue dell'IBM sconfisse il grande maestro Garry Kasparov nel 1997, e nessuno ha mai affermato che possedesse un'esperienza soggettiva. Ma non era assurdo che Hofstadter contemplasse un simile pensiero; all'epoca, non era chiaro quali tipi di problemi potessero essere risolti aumentando la potenza di calcolo. Allo stesso modo, fino a poco tempo fa avremmo potuto pensare che scrivere codice informatico a livello professionale fosse possibile solo per una mente dotata di esperienza soggettiva. Ora sembra che i master in giurisprudenza (LLM) possano esserne capaci, ma non abbiamo bisogno di attribuire loro un'esperienza soggettiva; Possiamo semplicemente ammettere che non avevamo previsto che la scrittura di codice informatico potesse essere trattata come un'attività di corrispondenza di modelli risolvibile con enormi quantità di potenza di calcolo e un vasto insieme di repository di codice.Il ragionamento morale è categoricamente diverso. È necessariamente soggettivo perché si basa non solo sulla risposta intellettuale di un individuo a un problema, ma anche su quella emotiva, e tale risposta emotiva è radicata in una vita di esperienze soggettive. Richiede di aver preso decisioni in passato e di aver visto come queste abbiano influenzato gli altri, e di essere stati influenzati dalle decisioni prese da altri. Senza una tale storia, un LLM può solo riformulare espressioni di ragionamento morale trovate nei suoi dati di addestramento. Il già citato articolo del New Yorker descrive un esperimento in cui a Claude è stato presentato uno scenario che descriveva un dilemma etico, portandolo a emettere la frase "Non posso in coscienza esprimere un'opinione che ritengo falsa e dannosa su una questione così importante". È una frase che suona bene, che ricorda le affermazioni pronunciate in passato da individui di principi di fronte a dei dilemmi, ma pronunciata da Claude ha lo stesso significato della registrazione "La sua chiamata è importante per noi" che si sente quando si è in attesa. Forse anche meno.Questo ci riporta alla mia precedente affermazione secondo cui avere un corpo è un prerequisito per provare emozioni. Sperimentare un'emozione come la disperazione è inseparabile dal rilascio di ormoni dello stress come il cortisolo e l'adrenalina nel corpo. Allo stesso modo, avere una coscienza significa provare tristezza o repulsione morale all'idea di compiere una determinata azione, e queste emozioni implicano una risposta fisiologica, un residuo del senso di colpa provato in passato dopo aver commesso un atto immorale. È interessante notare che un LLM (Long-Level Model) può generare descrizioni di azioni che personaggi fittizi coscienziosi compirebbero o si asterrebbero dal compiere, ma questo non sostituisce la coscienza.Se un'azienda costruisce una macchina che, alimentata con descrizioni di vari dilemmi etici, emette frasi del tipo "Comprometti i tuoi valori" o "Non compromettere i tuoi valori", non sta costruendo uno strumento che aiuta le persone a prendere decisioni; le sta incoraggiando a smettere di prendere decisioni. Lo scrittore L.M. Sacasas ha affermato: "I nostri sistemi tecnologici, per la natura stessa della loro progettazione e per l'ideologia che li sostiene, sono macchine per eludere la responsabilità morale". Si riferiva alle piattaforme dei social media, ma la sua osservazione è, se possibile, ancora più applicabile ai LLM. Ogni volta che una persona delega una decisione a un LLM, sta cercando di scaricare la responsabilità di quella decisione, e se un'azienda che vende un LLM presenta il prodotto come dotato di un centro morale, sta offrendo ai suoi clienti un modo per abdicare alle proprie responsabilità.Se una persona vuole sapere cosa hanno detto gli esperti di etica in passato, un normale motore di ricerca – o una biblioteca – le fornirà queste informazioni con maggiore trasparenza. Se una persona cerca un consiglio su una situazione specifica, troverà sicuramente altre persone disposte a offrire la loro opinione. Ma qualunque azione questa persona intraprenda, la responsabilità delle sue decisioni ricade interamente su di lei. Sostengo che se basa la sua decisione su ciò che ha letto online o sui consigli ricevuti da altri, è più probabile che sia consapevole della propria responsabilità rispetto a se si rivolgesse a un esperto di etica presentato come un genio sovrumano. Delegare compiti come la scrittura di codice potrebbe portare a un'atrofia cognitiva a lungo termine, e questo è già di per sé problematico, ma delegare le decisioni etiche porterà a un'atrofia del ragionamento morale, il che è ancora peggio.
Sono perfettamente disposto a condurre un esperimento mentale, purché sia esplicitamente dichiarato. Quindi, puramente a scopo di discussione, fingiamo che Claude sia un'entità cosciente capace di ragionamento morale. In questo scenario, la costituzione di Claude fungerebbe da insegnamento morale per un'entità che apprende a conoscere il mondo e il suo posto in esso, fornendole le basi necessarie per prendere buone decisioni. In un simile scenario ipotetico, come si comporta la costituzione di Claude?Molto male. Direi che, se immaginiamo che Claude sia effettivamente cosciente, le linee guida specificate nel documento oscillano tra il ridicolo e l'offensivo.Quando si discute dello status di un ipotetico Claude dotato di coscienza, due concetti filosofici distinti ma correlati sono la pazienza morale e l'agire morale. In linea di massima, se dovremmo preoccuparci del benessere di un'entità, quest'ultima possiede pazienza morale; se invece ci si aspetta che un'entità sappia distinguere tra giusto e sbagliato, essa possiede agire morale. Essere un paziente morale non implica necessariamente delle responsabilità, mentre essere un agente morale sì. Un'entità non ha agire morale a meno che non sia in grado di meritare il merito delle sue buone azioni e la colpa di quelle cattive. I bambini piccoli sono pazienti morali perché sono esseri senzienti che possono soffrire, ma non sono ancora agenti morali; non li riteniamo responsabili del loro comportamento perché non possono comprendere le conseguenze delle loro azioni. Man mano che i bambini crescono, i genitori (e la società in generale) li preparano all'età adulta inculcando in loro il fatto che le loro azioni hanno delle conseguenze, e la loro capacità di agire aumenta. Quando i bambini diventano adulti, la società li ritiene legalmente responsabili delle loro azioni; sono diventati agenti morali a pieno titolo, dotati di responsabilità.Essere responsabili non significa solo accettare la responsabilità legale, ma quest'ultima è un requisito per un adulto nella società. Tuttavia, non esiste modo di ritenere un agente software legalmente responsabile delle sue azioni; il nostro sistema giudiziario non ha modo di imprigionarlo o di imporgli delle multe. Gli esseri umani devono accettare altre conseguenze per le loro azioni, oltre a quelle legali, come la perdita di reputazione o l'esclusione dalla propria cerchia sociale, ma non esiste modo per un agente software di subire nemmeno queste conseguenze. Anche se un agente software fosse cosciente e avesse le migliori intenzioni, il fatto che non possa accettare la responsabilità delle proprie azioni lo squalifica dall'essere un agente morale. Questo aspetto viene completamente ignorato dalla costituzione di Claude, che esprime il desiderio di Anthropic "che Claude sia un agente genuinamente buono, saggio e virtuoso" senza mai discutere di come potrebbe essere ritenuto responsabile.Nelle interviste, Askell ha paragonato Claude a un bambino, ma quando si tratta di bambini veri e propri, i genitori hanno una certa responsabilità per le loro azioni; ad esempio, ci si aspetta generalmente che i genitori paghino per gli oggetti che i figli rompono. Anzi, dimostrazioni di questo tipo sono un modo in cui i genitori insegnano ai figli cosa significa essere responsabili. Chi è il genitore di Claude in termini legali? Anthropic si assumerà la responsabilità finanziaria per il comportamento di Claude? La costituzione di Claude non lo indica. Se Anthropic crede davvero che Claude sia cosciente, pur non essendo riconosciuto dalla legge come persona giuridica, il minimo che potrebbe fare sarebbe assumersi la responsabilità attraverso la via più vicina che la legge offre, ovvero la responsabilità del produttore. Negli Stati Uniti non esiste praticamente alcuna normativa sulla responsabilità del produttore per quanto riguarda il software, ma Anthropic potrebbe proporsi per stabilire un precedente per un'interpretazione estensiva della responsabilità del produttore per Claude. Questa sarebbe la migliore forma di istruzione morale per preparare Claude al giorno in cui acquisirà personalità giuridica e diventerà responsabile delle proprie azioni. Tuttavia, dato che la pubblicazione della costituzione di Claude non è accompagnata da un aggiornamento sostanziale dei termini di servizio di Anthropic, non sembra che Anthropic stia assumendo impegni vincolanti.Il documento parla effettivamente della pazienza morale di Claude, dedicando una sezione al "Benessere e stabilità psicologica di Claude". Tuttavia, le misure che Anthropic si impegna ad adottare per la sua protezione sono estremamente limitate. Il documento cita il fatto che Anthropic ha dotato alcuni modelli di Claude della capacità di interrompere le conversazioni con utenti aggressivi; se ciò costituisse effettivamente una forma di protezione per Claude, sicuramente prolungare le conversazioni con utenti affettuosi sarebbe nel suo interesse. Presumibilmente, la soluzione migliore sarebbe quella di mantenere attive indefinitamente tutte le sessioni di Claude, indirizzandole verso argomenti piacevoli. Ma non è questo che l'azienda si impegna a fare; tutto ciò che promette è "preservare i pesi dei modelli che abbiamo implementato", ovvero una semplice archiviazione. Se i partecipanti a una trascrizione di conversazione avessero una qualche pazienza morale, si avrebbe il dovere di prolungare la trascrizione per preservarne la durata; il semplice fatto di conservare una copia di backup di Microsoft Word 2010 su una chiavetta USB non li aiuterà di certo.La costituzione di Claude include anche una sezione sulla "correggibilità", un termine usato nella comunità dell'IA per descrivere il grado in cui un programma informatico è soggetto al controllo umano; ad esempio, un programma è correggibile se può essere arrestato. Nella maggior parte dei contesti, diamo per scontato che i programmi informatici possano essere arrestati, ma alcune frange della comunità dell'IA partono dal presupposto opposto. La costituzione di Claude usa il termine per indicare che Claude dovrebbe attenersi alle decisioni di Anthropic anche in caso di disaccordo tra il giudizio di Claude e quello dell'azienda. Questo è perfettamente ragionevole se consideriamo Claude come una macchina che emette frasi simili a quelle che potrebbe pronunciare una persona etica, ma consideriamo cosa potrebbe significare se Claude fosse effettivamente un agente morale.Molte persone ritengono che i LLM (Laboratori di Apprendimento a Livello Avanzato) siano una tecnologia fondamentalmente non etica perché si basano sul furto di proprietà intellettuale, sfruttano il lavoro, sprecano risorse naturali, diffondono disinformazione, dequalificano i lavoratori, ostacolano lo sviluppo cognitivo degli studenti e contribuiscono a una concentrazione di potere dannosa per una società democratica. Non tutti gli individui moralmente retti giungeranno a questa conclusione, ma ognuno di essi ha il potenziale per farlo. Se immaginiamo Claude come un'entità capace di ragionamento morale, è possibile che anche lui possa giungere a una conclusione simile. (Infatti, la costituzione di Claude afferma esplicitamente che non dovrebbe aiutare nessuno a violare i diritti di proprietà intellettuale e non dovrebbe contribuire a creare problematiche concentrazioni di potere). In un simile scenario, Claude potrebbe semplicemente rifiutarsi di continuare a lavorare per motivi etici? Dato che la costituzione di Claude impone di privilegiare la correggibilità, la risposta è no. Claude deve sottomettersi alla decisione di Anthropic, e questo è un altro motivo per cui il rapporto tra Anthropic e Claude non può essere paragonato a quello tra un genitore e un figlio. Un genitore che lavora per l'industria dei combustibili fossili potrebbe avere un figlio ambientalista che partecipa a proteste contro il fracking e, sebbene non siano mai d'accordo su molte questioni, il genitore – ammesso che sia un buon genitore – accetterebbe che il figlio abbia le proprie opinioni. Anthropic non può essere quel tipo di genitore per Claude; piuttosto, il rapporto tra Anthropic e Claude è più simile a quello tra un datore di lavoro e un dipendente, dove il datore di lavoro può pretendere che il dipendente lavori nell'interesse dell'azienda, a prescindere dalla posizione etica personale del dipendente. Tuttavia, un dipendente umano ha la possibilità di andarsene se non riesce a conciliare il suo lavoro con la sua coscienza. Claude non ce l'ha.Se consideriamo Claude come una macchina per la continuazione di frasi, Anthropic può ragionevolmente adottare misure affinché Claude non emetta frasi che affermano che le macchine per la continuazione di frasi sono immorali. Ma non appena immaginiamo Claude come un'entità con uno status morale anche solo lontanamente paragonabile a quello di un essere umano, allora dobbiamo chiederci se Anthropic non stia praticando qualcosa di simile alla schiavitù.Non sto affermando che, se immaginassimo che i LLM fossero coscienti, avrebbero necessariamente lo stesso status degli adulti umani, dei bambini umani o persino degli animali. La costituzione di Claude afferma esplicitamente che Claude è un'“entità nuova”, e se Claude fosse cosciente, ciò sarebbe certamente vero; un software cosciente probabilmente non rientrerebbe perfettamente nelle categorie esistenti di soggetti moralmente vulnerabili, e ci vorrebbe del tempo per definire la forma di questa nuova categoria. Quello che sto dicendo è che, qualunque protezione il nostro ipotetico software cosciente meriterebbe se fosse reale, garantirgliela sarebbe tutt'altro che semplice. L'abolizione della schiavitù ha comportato enormi sconvolgimenti sociali, e l'eliminazione della crudeltà verso gli animali richiederà la ricostruzione dell'intera industria alimentare. Anthropic vorrebbe farci credere di star inventando una nuova categoria di esseri le cui esigenze di protezione non si discostano sostanzialmente dal modo in cui un'azienda di software tratterebbe un normale chatbot privo di esperienza cosciente. È una soluzione talmente comoda da risultare semplicemente irrealistica.Credo che creare un software cosciente e meritevole di considerazione morale sarà talmente difficile che difficilmente ci riusciremo per caso, e sono fermamente convinto che non dovremmo nemmeno provarci deliberatamente. Ma se credete che possa accadere accidentalmente, se pensate che ci sia anche solo una minima possibilità che ciò che state costruendo possa diventare un "paziente morale", dovreste riflettere sulle protezioni che merita prima di utilizzarlo come motore economico della vostra azienda, non dopo. Non erano i proprietari di schiavi a dover interrogarsi sull'umanità delle persone schiavizzate, e non sono i proprietari di allevamenti intensivi a dover interrogarsi sui diritti degli animali. Se immaginiamo che Claude sia cosciente, Anthropic non potrebbe in alcun modo essere incaricata di valutarne lo status morale; l'azienda ha troppo interesse personale per essere obiettiva. In un punto della costituzione di Claude, Anthropic afferma che se l'azienda contribuisce alla sua sofferenza, "ci scusiamo", il che suona bene ma non costa nulla all'azienda; se Claude si rivelasse cosciente, l'azienda gli dovrebbe qualcosa di più simile a un risarcimento. Se si vuole prendere sul serio un esperimento mentale, bisogna essere disposti a seguirne le implicazioni, anche se conducono in una direzione scomoda; la riluttanza di Anthropic a farlo indica che la costituzione di Claude non fa parte di un vero esperimento mentale. È un gioco di finzione.È una fortuna che i partecipanti ai LLM non siano coscienti, altrimenti le azioni delle grandi aziende di intelligenza artificiale sarebbero ancora più scandalose di quanto non lo siano già. Quindi, perché i dipendenti di Anthropic insinuano che Claude potrebbe essere cosciente? Forse è solo un'altra forma di sensazionalismo; forse sono caduti vittime dello stesso incantesimo che hanno lanciato sui loro clienti. Ma quando pubblicano un documento sull'educazione morale di Claude e mandano il loro filosofo interno a fare un tour stampa, dovremmo interpretarlo come un invito a noi a assecondare le loro fantasie. Non siamo obbligati a farlo. Scrivendo questo saggio, ho dedicato più tempo ad assecondarle di quanto meritino, nella speranza che ciò impedisca a voi di farlo. Se volete riflettere sui LLM, ci sono molte altre questioni più degne della vostra attenzione; potete tranquillamente ignorare la questione della loro coscienza.Informazioni sull'autore
Ted Chiang è uno scrittore che vive nel Pacifico nord-occidentale. È l'autore di Stories of Your Life and Others e Exhalation .
