Agentic AI e responsabilità penale: dove finisce la colpa umana?

Nel 1993, nel film Jurassic Park, John Hammond inaugurava il parco recintato più famoso della storia del cinema con una sicurezza incrollabile: "Tutti i sistemi principali sono automatizzati, il controllo è totale". Sappiamo tutti com’è finita.

Trentatré anni dopo, quel misto di fascino e presunzione tecnologica si sta materializzando nei nostri consigli di amministrazione sotto forma di Agentic AI.

Dalla finzione cinematografica all’Agentic AI – Di Luca Benatti

Fino a ieri, l'Intelligenza Artificiale applicata al business è stata una sorta di super-assistente: utile, reattiva, fondamentalmente passiva. Generava testi, analizzava dati, ma l'azione finale, il clic sul tasto "Invia" o "Autorizza", spettava sempre a un essere umano; se qualcosa fosse stato storto, l’errore sarebbe stato chiaramente riconducibile a chi quel codice lo aveva scritto o configurato male, o a chi aveva dato l’OK finale.

Oggi lo scenario è cambiato. Con i sistemi agentici, alle macchine non chiediamo più solo di elaborare informazioni: chiediamo di pianificare, scegliere strumenti come API, database o accessi di rete, e agire in autonomia per raggiungere un obiettivo di business. L'AI non aspetta più solo un comando: decide quale percorso seguire per arrivare al risultato che le abbiamo assegnato.

Dal punto di vista dell'innovazione, è il paradiso del business; dal punto di vista della cybersecurity e della compliance, è un territorio inesplorato e denso di pericoli.

Il perimetro tecnologico e la nuova superficie di attacco

Per capire le conseguenze legali di questa rivoluzione, bisogna partire da una distinzione semplice: ciò che l'Intelligenza Artificiale faceva fino a ieri non è ciò che fa oggi. Nella prima fase della GenAI, il rapporto era ancora lineare: l'utente inseriva una richiesta, il modello generava una risposta e l'interazione finiva lì.

Con l'Agentic AI il salto è diverso. Gli LLM non vengono usati solo per produrre contenuti, ma diventano il centro decisionale di sistemi più complessi. In pratica, l'agente riceve un obiettivo, sceglie gli strumenti da usare e decide i passaggi necessari per raggiungerlo. Un sistema agentico moderno si basa su quattro elementi:

• pianificazione: l'agente prende un obiettivo ampio, per esempio verificare un fornitore e autorizzare un pagamento, e lo divide in passaggi più piccoli. Dopo ogni azione valuta il risultato e, se qualcosa non torna, corregge la rotta senza chiedere subito l'intervento umano;
• utilizzo di strumenti: l'agente può usare API, database aziendali, moduli di calcolo o altri strumenti digitali. Se gli serve un dato, può decidere autonomamente dove cercarlo e quale sistema interrogare;
• memoria: l'agente può conservare il contesto della sessione e, in alcuni casi, recuperare informazioni da archivi esterni. In questo modo ricorda interazioni e decisioni precedenti, che possono influenzare le scelte successive;
• permessi: per agire nei sistemi aziendali, l'agente riceve credenziali e autorizzazioni. Questo significa che, in alcuni casi, può muoversi nella rete con privilegi simili a quelli di un utente umano.

Qui cambia il punto decisivo: non c'è più un percorso rigido, scritto in anticipo passo dopo passo. Lo sviluppatore definisce obiettivo e limiti, ma il modo concreto per arrivarci viene scelto dall'agente. Per questo l'agente non è più solo un esecutore: diventa un soggetto delegato a prendere decisioni operative.

La mappa del rischio cyber nell’era agentica

L'autonomia decisionale è il principale punto di forza degli agenti AI. Ma, per la sicurezza informatica, è anche il loro punto più delicato: più un agente può decidere e agire, più aumentano le possibilità che venga manipolato o usato in modo improprio. Per leggere questi rischi si usano framework come OWASP Top 10 for LLM Applications e MITRE ATLAS.

Nel caso degli agenti autonomi, tre rischi sono particolarmente importanti:

• Indirect Prompt Injection: un attaccante può nascondere istruzioni malevole dentro documenti, pagine web o email che l'agente legge per svolgere il proprio compito. L'agente, senza accorgersene, può interpretarle come istruzioni valide e iniziare a eseguire azioni non previste dall'azienda;
• Excessive Agency: il rischio nasce quando a un agente vengono concessi più permessi o strumenti di quelli necessari. Se un agente nato per leggere dati può anche modificarli o cancellarli, una singola manipolazione può trasformarsi in un incidente grave;
• Insecure Plugin Design: gli agenti usano API e collegamenti esterni per lavorare. Se questi collegamenti sono progettati male o non controllano correttamente gli input, l'agente può diventare un canale attraverso cui colpire i sistemi aziendali.

A questi rischi si aggiunge l'allucinazione operativa: l'agente può compiere un'azione sbagliata credendola corretta. Il problema non è solo che produce un'informazione inesatta, ma che può trasformare quell'errore in un'azione concreta sui sistemi aziendali.

La nuova governance aziendale: CISO, CAIO e responsabilità condivisa

Quando un agente autonomo, dotato di permessi operativi e accesso ai sistemi aziendali, subisce una manipolazione esterna o compie un’azione dannosa, la questione non riguarda più solo la sicurezza informatica. In quel momento emerge il vero nodo della governance: capire dove finisce il controllo tecnico del CISO (Chief Information Security Officer), dove inizia la responsabilità strategica e operativa del CAIO (Chief Artificial Intelligence Officer) e quale ruolo debba assumere il board nelle decisioni che espongono l’azienda a rischi tecnologici, operativi e legali.

• Il CISO ha il compito di proteggere l’infrastruttura, limitare privilegi e accessi, controllare i vettori d’attacco e richiedere supervisione umana nelle azioni critiche;
• Il CAIO spinge l’adozione dell’AI per creare valore, validare i modelli e migliorare i processi, garantendo agli agenti un accesso sufficiente a dati e strumenti aziendali.

È proprio in questa tensione tra protezione, innovazione e indirizzo strategico che nasce una zona grigia di responsabilità. Se l’algoritmo provoca un illecito, esfiltra dati particolari o esegue una transazione non autorizzata, chi si assume il rischio? Il CAIO, che ha introdotto e validato il modello, il CISO, che avrebbe dovuto limitarne meglio permessi e superfici di attacco, o il board, che ha approvato una strategia di adozione dell’AI senza adeguati presidi di governance?

I framework tecnici e organizzativi, come il NIST AI Risk Management Framework, aiutano a ridurre il rischio, ma non lo eliminano. Quando il rischio residuo diventa un danno reale, la ripartizione dei compiti aziendali smette di essere una questione di organigramma e diventa una domanda giuridica: se la macchina agisce da sola, dove si ferma la responsabilità umana?

Per rispondere a questa domanda abbiamo chiesto il supporto di un’avvocata di grande rilievo nel panorama italiano, Barbara Sabellico, esperta in Legal Tech per le imprese, che ci guida nell’analisi delle responsabilità giuridiche che possono emergere quando un agente AI agisce autonomamente e produce un danno, un illecito o una violazione di sicurezza.

Il perimetro legale e l’imputazione della colpa – Di Barbara Sabellico

Nel diritto penale italiano l’imputato è sempre una persona, mai un sistema di intelligenza artificiale. Anche quando un agente opera con un certo grado di autonomia resta uno strumento tecnico: non ha coscienza del precetto, volontà giuridica né può essere destinatario di una pena.

Ogni incidente, data breach o danno causato dall’AI deve quindi essere ricondotto alle decisioni umane che ne hanno preceduto l’impiego: scelta, progettazione, configurazione, autorizzazione, controllo e mancata prevenzione.

La colpa consiste nella violazione di regole cautelari che l’agente doveva e poteva rispettare e che avrebbero ridotto o neutralizzato il rischio. Può trattarsi di colpa generica (negligenza, imprudenza o imperizia) come quando non si valuta l’impatto di un agente su sistemi critici, lo si lascia senza supervisione in processi ad alto impatto oppure si ignorano warning e near miss. Oppure di colpa specifica, derivante dalla violazione di leggi, regolamenti o discipline in materia di sicurezza, cybersicurezza e protezione dei dati.

Più raro, ma non escluso, è il dolo eventuale: chi prevede un possibile evento lesivo e accetta comunque il rischio può risponderne penalmente. È il caso, ad esempio, di chi autorizzi un agente con privilegi amministrativi nonostante rischi critici già evidenziati o continui a utilizzare un sistema coinvolto in incidenti gravi senza adottare i correttivi necessari. La domanda del giudice non sarà dunque “che cosa ha fatto l’AI?”, ma “quale rischio è stato consapevolmente accettato?”.

Per individuare le responsabilità occorre ricostruire la catena decisionale: chi ha scelto modello e piattaforma, definito architettura e integrazioni; chi ha impostato permessi, limiti e livelli di autonomia; chi ha autorizzato il go-live e gestito monitoraggio, log e incident response. Su questa filiera si collocano le posizioni di garanzia, cioè i doveri di impedire la concretizzazione di determinati rischi.

Il principio è destinato a trovare applicazione anche nel quadro della disciplina sull’intelligenza artificiale e della responsabilità degli enti. Il nuovo articolo 25-vicies del d.lgs. 231/20012, considera le omissioni relative alle misure tecniche di sicurezza e alla sorveglianza umana dei sistemi di AI ad alto rischio. Se un incidente deriva dal sacrificio deliberato di governance e sicurezza in favore della velocità o del profitto, l’assenza di un modello organizzativo idoneo può rafforzare la responsabilità dell’ente.

Il CISO dovrà presidiare privilegi, segregazione degli ambienti, logging, rate limiting, controlli sugli output e minacce specifiche come prompt injection, plugin insicuri ed esfiltrazione dei dati. Il CAIO dovrà classificare i casi d’uso, definire i limiti dell’autonomia, predisporre policy, formazione e valutazioni di rischio. Il board, infine, determina il livello di rischio accettato e le risorse destinate a sicurezza, compliance e controllo.

La responsabilità non deriva automaticamente dal verificarsi di un incidente: occorre accertare se l’evento fosse prevedibile e prevenibile attraverso misure esigibili nel caso concreto. Diventano quindi decisive policy, procedure, audit, test di robustezza, formazione e documentazione. I log devono consentire di ricostruire chi ha fatto cosa, quando, con quale agente, quali input siano stati utilizzati e quali azioni siano state eseguite.

Si pensi all’agente AI di una società Alfa, collegato al sistema di identity management con privilegi estesi, senza sandbox, logging completo o validazione umana per le operazioni critiche. Un attacco di indirect prompt injection induce il sistema a creare account privilegiati e ad accedere a dati HR. L’attenzione penale si concentrerà sulle scelte di chi ha concesso quei permessi e omesso controlli adeguati, non sull’“errore” dell’agente.

Analogamente, nella società Beta un sistema usato per selezionare candidati produce risultati discriminatori. Mancano una valutazione dei bias, policy interne e verifiche effettive da parte dei recruiter. L’eventuale responsabilità riguarderà chi ha introdotto l’automazione senza adeguata governance e chi ha accettato decisioni dell’AI come definitive, pur operando in un ambito incidente sui diritti fondamentali.

La risposta alla domanda “dove finisce la colpa umana?” è quindi netta: finché l’AI resta uno strumento nelle mani dell’uomo, la responsabilità (o la sua esclusione) si decide sulla qualità delle scelte, dei controlli e della governance che ne guidano l’impiego.

L’illusione del controllo e il futuro della governance – Di Luca Benatti

L'autonomia della macchina non cancella la responsabilità dell’essere umano: la rende più difficile da individuare. Non esiste, e non esisterà a breve, un "algoritmo criminale" da portare davanti a un giudice. Dietro ogni deviazione di un agente AI, ogni manipolazione riuscita o ogni errore operativo, il diritto penale cercherà comunque una condotta umana fatta di negligenza, imprudenza o imperizia.

Il rischio penale per i vertici aziendali non nasce dall'adozione dell'Intelligenza Artificiale in sé. Nasce dall'idea di poterla gestire come un software tradizionale o, peggio, di delegarle parti dei processi decisionali senza controlli chiari.

Per evitare che l'innovazione si trasformi in un'imputazione per il C-level o in una responsabilità più ampia per l’organizzazione, le aziende devono comprendere che la governance dell'AI non è un problema esclusivamente informatico né esclusivamente legale. È un ecosistema integrato, che deve coinvolgere anche il board quando le scelte sull’autonomia degli agenti AI incidono sulla strategia, sul rischio e sulla continuità del business.

La difesa si gioca su un triplo binario:

1. la tecnologia: limita i privilegi degli agenti, controlla i prompt e protegge l'accesso alle API aziendali per evitare che l'autonomia diventi eccessiva;
2. il business: valida i modelli, definisce i casi d'uso e stabilisce quando serve una supervisione umana, soprattutto per le azioni ad alto impatto economico o di sicurezza;
3. la compliance: trasforma framework, policy e controlli in regole aziendali verificabili. Sono queste regole, se documentate bene, a dimostrare la due diligence davanti a un giudice.

In conclusione, l'Agentic AI non è un Velociraptor digitale impossibile da controllare. È uno strumento potentissimo, ma proprio per questo va progettato con attenzione. Ignorare la sua superficie di attacco cyber e le possibili ricadute penali significa lasciare, semplicemente, i cancelli del parco aperti.

E la colpa, quando la vita troverà una strada, non sarà della macchina. Sarà nostra.

Di Luca Benatti, Product Manager, con l'intervento di Barbara Sabellico, avvocata esperta di Legaltech per le aziende.

Fonti

• AI Act (EUR-Lex - The Artificial Intelligence Act)
• La guida strategica di Anthropic sugli Agenti AI (Anthropic - Building Effective AI Agents)
• OWASP Top 10 per le Applicazioni LLM (OWASP Top 10 for Large Language Model Applications)
• Matrice delle minacce reali MITRE ATLAS (MITRE ATLAS™ Framework Home)
• NIST AI Risk Management Framework (AI RMF 1.0) (NIST AI Risk Management Framework)
• La nascita della figura del CAIO (Harvard Business Review - The Rise of the Chief AI Officer)
• Crichton, M. (1990). Jurassic Park. Alfred A. Knopf.