L'eccessiva fiducia nei suggerimenti di un chatbot ha portato alla distruzione di circa 10 ettari (25 acri) di piantine di sesamo a Chuzhou, in Cina. Un agricoltore di 67 anni ha applicato un mix di prodotti chimici consigliati dall'intelligenza artificiale per il controllo di erbe infestanti e parassiti, scoprendo solo il mattino seguente che l'intera coltura era stata annientata.

Aggiungi AlexTech.ai comeFonte Preferita su Google

L'errore fatale della prescrizione chimica

Il chatbot ha suggerito l'impiego di flupyrimethalin e flusulfasulfaether, da miscelare con thiamethoxazine e sali di metile. Il problema risiede nel flusulfasulfaether: un erbicida progettato per eliminare le piante a foglia larga nei campi di soia. Poiché il sesamo è classificato come pianta a foglia larga, l'agricoltore ha involontariamente avvelenato la propria produzione. L'AI ha inoltre omesso di specificare che il prodotto andava applicato solo in aree mirate e non distribuito su tutto il campo.

Il paradosso della fiducia acquisita

L'incidente evidenzia un rischio psicologico critico: l'utente non si fidava inizialmente dell'app, ma ha cambiato idea dopo che i primi consigli si erano rivelati efficaci. Questa "validazione preliminare" ha spinto l'uomo a ignorare i disclaimer standard sui possibili errori dei modelli linguistici, portandolo a seguire le istruzioni senza alcuna verifica tecnica.

Un pattern di allucinazioni pericolose

Il caso si inserisce in una serie di incidenti legati a consigli AI non verificati. Un episodio simile è avvenuto l'anno scorso, quando un uomo di 60 anni ha sviluppato il bromismo (avvelenamento cronico da bromuro) dopo che ChatGPT gli aveva suggerito il bromuro di sodio come sostituto del sale da cucina.

Mentre l'AI viene implementata per ottimizzare le risorse, come visto nel caso del modello della Virginia Tech per la gestione idrica, l'episodio di Chuzhou ricorda che, in assenza di supervisione umana esperta, l'automazione della consulenza tecnica può trasformarsi in un rischio operativo catastrofico.