Tecnologia

The Black Box Society: come fanno le imprese a fidarsi dei loro…

  • Abbonati
  • Accedi
tecnologia

The Black Box Society: come fanno le imprese a fidarsi dei loro prodotti?

Intelligenza Artificiale = Big Data + Machine Learning. La nuova primavera della Ia, dopo un lungo inverno seguito alla disillusione degli anni 80, è il regalo della scienza dei dati, dell’apprendimento automatico da masse enormi di esempi che riesce finalmente ad affrontare con successo la comprensione e la traduzione dei testi, il riconoscimento delle immagini e molti altri compiti “intelligenti”. L’effetto combinato e disposto di tanti esempi da cui imparare, modelli sofisticati di apprendimento e capacità di calcolo ad altissime prestazioni. Grandi opportunità di progresso, ma anche nuove criticità.

Parafrasando Frank Pasquale, autore di «The black box society», abbiamo visto diffondersi algoritmi sempre più opachi, sempre più spesso creati dal deep learning, per inferire tratti intimi delle persone, come il rischio creditizio o assicurativo, lo stato di salute, il profilo della personalità, la propensione al crimine. Black box, scatole nere che osservando le caratteristiche degli utenti pronosticano una classe, un giudizio, un voto e suggeriscono decisioni. Senza spiegare perché. Perché il modello di decisione inferito dai dati in molti casi, purtroppo, è incomprensibile, anche per gli esperti. Non è solo un problema di trasparenza. Il machine learning opera, come dicevamo, su esempi ricostruiti sulla base delle tracce digitali delle attività degli utenti: movimenti, acquisti, ricerche online, opinioni espresse sui social. E quindi i modelli risultanti ereditano i pregiudizi e i difetti – i bias – che sono nascosti nei dati di allenamento, nascondendoli a loro volta negli algoritmi di decisione che rischiano così di suggerire scelte ingiuste, discriminatorie o semplicemente sbagliate, e all’insaputa del decisore e del soggetto della decisione. Se un chat bot, una intelligenza artificiale che conversa con gli utenti dei social, impara a conversare dagli esempi sbagliati, ad esempio razzisti, sarà razzista a sua volta – e i suoi creatori dovranno sbrigativamente tacitarla.

Molti casi, come questo del Twitter bot Tay, ci ammoniscono che delegare scelte ad algoritmi black box è una pessima idea. Attraverso il deep learning stiamo creando sistemi che non sappiamo bene come funzionano. Anche il legislatore europeo si è reso conto della trappola e la parte forse più innovativa e lungimirante della Gdpr, la regolamentazione sulla privacy in vigore in Europa, è proprio il diritto alla spiegazione, ovvero di ottenere informazioni comprensibili sulla logica adottata da un qualunque sistema di decisione automatica che abbia effetti legali, o “analogamente rilevanti”, per le persone coinvolte. Senza una tecnologia in grado di spiegare la logica delle black box, però, il diritto alla spiegazione è destinato a rimanere lettera morta, oppure a mettere fuorilegge molte applicazioni del machine learning opaco.

Non si tratta solo di etica digitale, di evitare discriminazioni e ingiustizie, ma anche di sicurezza e responsabilità delle imprese. Automobili a guida autonoma, assistenti robotici, sistemi IoT domotici e manifatturieri, medicina personalizzata di precisione: in questi ambiti e altri ancora le imprese lanciano servizi e prodotti con componenti di Ia che potrebbero incorporare inavvertitamente decisioni sbagliate, cruciali per la sicurezza, apprese da errori o correlazioni spurie nei dati di apprendimento. Come ad esempio riconoscere un oggetto in una foto dalle proprietà non dell’oggetto in questione ma dello sfondo, a causa di un bias sistematico nella raccolta degli esempi per l’apprendimento.

Come fanno le imprese a fidarsi dei loro prodotti senza comprendere e validare il loro funzionamento? Una tecnologia della spiegazione è essenziale per creare prodotti con Ia affidabili, per proteggere la sicurezza dei consumatori e circoscrivere la responsabilità industriale. Analogamente, l’uso scientifico del machine learning, ad esempio in medicina, biologia, economia, richiede comprensibilità non solo per poterci fidare dei risultati, ma per il carattere di per sé aperto della ricerca scientifica, perché possa essere condivisa e progredire. Ma nonostante un impetuoso sforzo di ricerca sulla Ia comprensibile negli ultimi due anni da parte di numerosi scienziati in tutto il mondo, una tecnologia per la spiegazione che sia pratica e applicabile non è ancora emersa.

* È professore ordinario di Informatica all'Università di Pisa

© Riproduzione riservata