Obbligo di motivazione e procedimenti in cui non è nota a priori la logica dell’algoritmo

Obbligo di motivazione e procedimenti in cui non è nota a priori la logica dell’algoritmo
Nota a Consiglio di Stato, sez. VI, 2270/2019 del 8.4.2019
Di Eugenio Prosperetti

 

Il Consiglio di Stato ha pronunciato una interessante sentenza in cui torna all’attenzione dei Giudici il tema delle decisioni amministrative affidate ad algoritmi software, già oggetto di due precedenti pronunce TAR Lazio del 2017[1].

Anche in questo caso come era avvenuto nei precedenti giudizi TAR a tema “algoritmo” la decisione promana da un ricorso di personale della scuola che si duole che decisioni sulle assegnazioni di sede e di tipologia di posto siano state affidate dal MIUR ad un software che, secondo quanto esposto dai ricorrenti, non ha tenuto in debito conto le posizioni in graduatoria, le anzianità maturate e, in alcuni casi, nemmeno il tipo di posto richiesto essendo stati assegnati insegnanti specializzati in sostegno su posti comuni e viceversa.

I ricorrenti lamentano così che l’intera procedura di selezione ed assunzione in base alla Legge 107/2015 (Buona Scuola) sia stata gestita sino all’esito provvedimentale non da funzionari in grado di esercitare controllo e discrezionalità amministrativa in base ai noti ed apprezzabili canoni della medesima, ma da un sistema informatico il quale ha elaborato le informazioni fornite dagli stessi per mezzo di un algoritmo il cui funzionamento sarebbe rimasto sconosciuto fornendo direttamente decisioni “finali” senza nessun previo correttivo, controllo, verifica o revisione “umana”, né peraltro, motivando o giustificando le medesime; sarebbero stati così emessi provvedimenti che, privi di motivazione, hanno dato esiti non coerenti con le graduatorie esistenti e con i tipi di domande presentate e perciò errate e in violazione di legge.

Il ragionamento dei ricorrenti sembra essere nel senso che se fosse stato possibile conoscere “a priori” il funzionamento dell’algoritmo sarebbe stato possibile verificare la coerenza del medesimo con le decisioni che lo stesso era chiamato ad adottare e, laddove coerente, verificare se le decisioni effettivamente adottate rispondevano all’algoritmo o risultavano frutto di malfunzionamenti del medesimo.

Il problema nel caso di specie, deriva così dal fatto che le “decisioni” della procedura software adottata dall’Amministrazione, funzionante in base a tale ignoto algoritmo e, dunque, adottate secondo una logica non nota agli interessati (ma forse nemmeno del tutto all’Amministrazione), nel momento in cui venivano direttamente comunicate mediante una piattaforma informatica, assumevano la natura di provvedimento e costituivano quindi l’espressione finale delle determinazioni dell’Amministrazione, con tutte le conseguenze del caso, inclusa la sindacabilità da parte del Giudice Amministrativo in base ai vizi di legittimità.

In base al sopra esposto iter logico-giuridico, i ricorrenti argomentavano che le determinazioni che dei quali erano stati destinatari erano illegittime in quanto, essendo determinazioni finali, avrebbero dovuto avere ogni requisito, anche in termini di motivazione, richiesto ad un provvedimento amministrativo e richiedevano perciò in sede giurisdizionale di conoscere, in quanto atto amministrativo informatico presupposto, l’algoritmo in base alle quali tali determinazioni erano state assunte.

Il Consiglio di Stato accoglieva il ricorso, riformando così la precedente sentenza del TAR Lazio in cui il ricorso era stato rigettato nel merito (senza peraltro, a quanto si apprende, esaminare una questione di giurisdizione che pure era stata posta, probabilmente rispetto all’eventuale competenza del Giudice del Lavoro, data la natura dei provvedimenti).

I “provvedimenti” di assegnazione di sede/posto emanati direttamente dal software vengono così ritenuti dal Consiglio di Stato, a pieno titolo, sindacabili a titolo di atto amministrativo e, vengono, in particolare, ritenuti carenti di motivazione; essa non è esplicitata e non è nemmeno possibile ricostruire né a priori, né a posteriori il funzionamento dell’algoritmo che li ha generati e, in conseguenza di tale vizio, vengono ritenuti illegittimi e lesivi.

La sentenza in esame pone dunque il problema e tema dei limiti che incontra la Pubblica Amministrazione all’adozione di procedure software per l’elaborazione di dati, quando tali elaborazioni vengono a costituire atti di natura provvedimentale.

E’ infatti marcata la tendenza alla sempre più pervasiva adozione di algoritmi nell’ambito del settore pubblico (e non) a presidio di processi decisionali, occorre analizzare con attenzione la decisione per comprendere se quanto statuito costituisca un divieto all’Amministrazione di utilizzare in tutto o in parte software e algoritmi in caso il risultato dei medesimi abbia natura di provvedimento finale per l’interessato, ovvero, se così non è, quale sia la valenza della medesima rispetto all’uso del software nell’elaborazione di provvedimenti amministrativi, anche tenendo conto delle emergenti tecnologie algoritmiche di intelligenza artificiale[2].

Il primo elemento che si nota, esaminando la sentenza, è che il presupposto in fatto del ricorso, non è limitato alla dimostrazione che l’Amministrazione avesse utilizzato software a fondamento dell’atto provvedimentale emanato e che esso “sarebbe rimasto sconosciuto”: per fondare il ricorso, i ricorrenti dimostrano (e devono dimostrare, se non altro in via presuntiva) che i provvedimenti impugnati sono irrazionali rispetto alle domande presentate e alla normativa che si sarebbe dovuta applicare e, dunque, di avere interesse al ricorso avendo subito un danno da provvedimenti che, all’esame, appaiono oltre che illogici e irrazionali, carenti di motivazione.

Solo a fronte di tale dimostrazione, il cui onere è del ricorrente, il Giudicante sembrerebbe poter indagare sull’algoritmo utilizzato dall’Amministrazione, sui suoi errori, sulla mancanza di trasparenza dei criteri di funzionamento dello stesso.

Così ragionando, se ne ricava che, di per sé, l’utilizzo di un software/algoritmo, anche se non documentato/trasparente ma che non ha conseguenze “finali” verso gli Amministrati o che produce atti non riconoscibili ictu oculi come illogici o errati, non sarebbe, per ciò solo, sindacabile.

Se, infatti, di per sé non costituirebbe vizio autonomo del provvedimento e del procedimento in cui lo stesso viene utilizzato: se infatti i provvedimenti emanati non mostrassero apparenti difetti, potrebbe non essere presente l’interesse concreto ed attuale ad agire in quanto l’interessato non saprebbe come motivare l’interesse ad agire, concreto ed attuale, in relazione al provvedimento del quale è stato destinatario.

In poche parole, in base a questo ragionamento, si potrebbero lamentare di un provvedimento errato elaborato dal software solo quelli che ne fossero penalizzati in qualche modo o avessero seri argomenti per presumere di esserlo.

Questo comporta che un software che elabori provvedimenti formalmente corretti, senza errori riconoscibili, non potrebbe, di per sé essere attaccato.

Rimarrebbe tuttavia il difetto di motivazione ed occorre allora chiedersi se questo potrebbe essere vizio sufficiente per un’autonoma impugnativa, diversamente da quanto avvenuto nel caso di specie, se cioè l’Amministrazione abbia un limite obiettivo e aprioristico nell’adottare piattaforme e software che portino ad atti privi di motivazione e, per ciò solo, causi una lesione dell’interesse legittimo dei destinatari di quei provvedimenti, al punto che l’eventuale ricorso potrebbe prescindere dall’allegazione degli effetti dannosi del concreto provvedimento subito.

La seconda parte della sentenza sembra in effetti dare momento a tale prospettazione in quanto contiene ampie considerazioni circa il rapporto tra regola “algoritmica” e principi dell’azione amministrativa dirette a sancire come la prima non possa prescindere dal rispetto dei secondi.

La sentenza infatti aggiunge che l’utilizzo di procedure “robotizzate” (termine suggestivo ma improprio dal punto di vista informatico) non può essere motivo di elusione dei principi che conformano il nostro ordinamento e che regolano lo svolgersi dell’azione amministrativa.

Questo per dire che non esiste una elaborazione/regola/procedimento algoritmico diverso da quanto l’Amministrazione è tenuta a svolgere in via ordinaria.

Il Consiglio di Stato precisa così che l’uso del software e dell’algoritmo è dunque ammesso solo nel rispetto dei principi generali di pubblicità, trasparenza, ragionevolezza, proporzionalità e dei generali principi che regolano l’azione amministrativa ed aggiunge che il software deve essere considerato, a tutti gli effetti, “atto amministrativo informatico” e la regola algoritmica, oltre ad essere conoscibile, deve essere anche soggetta alla piena cognizione e sindacato del giudice amministrativo.

In questo senso, dunque, sembrerebbe, in un’ipotesi processuale diversa da quella concretamente all’esame del Consiglio di Stato, impugnabile il software adottato dall’Amministrazione in carenza di trasparenza dell’algoritmo, in quanto “atto presupposto”.

Occorre però fare alcune precisazioni sul punto, poiché una tale visione, applicata alle sue estreme conseguenze, potrebbe paralizzare alcuni meccanismi di adozione del software da parte delle PP.AA. invece pienamente legittimi.

E’ opportuno notare che laddove l’Amministrazione utilizzi o detenga un software, esso potrebbe essere anche proprietà (anche intellettuale) di terzi e, come tale, accessibile nei limiti in cui esista all’uopo una eccezione al diritto d’autore che lo consenta e che l’accessibilità del software inteso quale “atto amministrativo informatico” si può avere solo a determinate condizioni: il software in questione deve essere nella disponibilità dell’Amministrazione che ne deve avere il possesso e il software deve in effetti essere il generatore dell’elaborazione provvedimentale inviata all’utente, senza alcuna verifica/mediazione dell’Amministrazione.

Occorre per altro verso notare che la mancata conoscibilità a priori dell’algoritmo può dipendere da circostanze perfettamente legittime: la proprietà intellettuale sul software nel quale è incorporato il medesimo, il segreto industriale o, per altro verso, la tecnologia di Intelligenza Artificiale dell’algoritmo, che comporta che lo stesso, nel concreto, si forma e si evolve in base ai dati che incontrerà nel processo di apprendimento (online learning o deep learning) e tali circostanze non possono che essere valutate caso per caso.

Viene inoltre da pensare che il difetto di motivazione che deriverebbe dall’uso del software potrebbe essere supplito a priori dall’Amministrazione con una motivazione per relationem[3], motivazione cioè che rinviando ad ulteriori atti presupposti e pareri ottenuti dall’Amministrazione dai quali si possa evincere che l’atto è conforme ai principi dell’azione amministrativa, supplisce alla carenza di specifica motivazione.

Una siffatta motivazione potrebbe essere impiegata laddove l’Amministrazione volesse adottare algoritmi dando conto nella medesima o in qualche punto dell’iter provvedimentale (ad es. sulla piattaforma utilizzata dagli Amministrati) che i provvedimenti saranno emessi da un software commissionato dall’Amministrazione per essere rispondente a certi criteri, del quale è stato verificato il margine di errore, ecc., ecc.  

Questo perché nei futuri  casi in cui l’Amministrazione volesse impiegare sistemi software basati su algoritmi con tecnologie di intelligenza artificiale, la preclusione ad adottare software incapaci di motivare il provvedimento, potrebbe risultare del tutto impeditiva di tali tecnologie.

Infatti, come si accennava, i sistemi di intelligenza artificiale, non possono rendere noto a priori il preciso algoritmo o i criteri in base ai quali l’elaborazione verrà compiuta, perché questi dipendono all’addestramento sui dati, l’apprendimento, al quale il sistema viene esposto e dunque, variano caso per caso.

Nemmeno, in molti casi, possono rendicontare la decisione in maniera che essa sia sindacabile secondo gli ordinari criteri, salvo che il sistema sia sviluppato ad hoc per tenere traccia dei dati elaborati e di cui si è tenuto conto. Si aggiunga a questo che è nell’ordinarietà che anche il miglior sistema di intelligenza artificiale ha un margine di errore, specialmente nelle prime applicazioni e tale errore è necessario affinché il sistema si evolva e migliori.

Occorre allora chiedersi anche se quanto disposto dalla sentenza consenta di utilizzare sistemi software che intrinsecamente possono produrre una qualche percentuale di risultati errati e hanno limiti nella rendicontazione ex ante ed ex post delle elaborazioni compiute.

E’ abbastanza interessante che la sentenza, in alcuni passaggi, sembra porsi la questione dell’intelligenza artificiale, facendo riferimento proprio al concetto di deep learning (anche se, a ben vedere, il riferimento all’apprendimento progressivo sembra più indicare machine learning ed online learning più che metodiche di deep learning) per dire che l’Amministrazione deve soddisfare un ruolo ex ante di mediazione e composizione di interessi, anche per mezzo di costanti test, aggiornamenti e modalità di perfezionamento dell’algoritmo.

Ciò pare indicare ed ammettere che (i) l’imperfezione e l’errore esiste nel software e non è evitabile; ma (ii) l’Amministrazione deve fare quanto in proprio potere per valutarla e compensare supervisionando il software nel suo agire e facendo il possibile per ridurre/evitare l’errore ovvero, (iii) se ciò non avviene, fare in modo che il software produca quanto necessario affinché il giudice amministrativo, se invocato, possa svolgere il proprio ruolo di primo “umano” ad esaminare la decisione automatizzata.

Al riguardo la sentenza afferma che l’assenza di intervento umano in un’attività di mera classificazione automatica di istanze numerose, secondo regole predeterminate (che sono, queste sì, elaborate dall’uomo), e l’affidamento di tale attività a un efficiente elaboratore elettronico appaiono come doverose declinazioni dell’art. 97 Cost. coerenti con l’attuale evoluzione tecnologica. I sistemi di Intelligenza Artificiale non operano tuttavia, come si è detto secondo regole predeterminate e dunque l’Amministrazione non potrebbe che supplire con valutazioni analitiche circa il risultato conseguibile attraverso l’elaborazione, il margine di errore atteso e i meccanismi per prevenirlo/risolverlo.

Se, infatti, l’errore ci potesse essere ma i tempi del procedimento si abbreviassero di mesi o anni, in maniera da rendere possibile e temporalmente efficiente anche la procedura di riconoscimento e soluzione dell’errore, l’Amministrazione, a priori, potrebbe, ad esempio, motivare l’adozione della tecnologia algoritmica e superare il limite evidenziato dalla pronuncia in commento.

La soluzione sembra allora essere nella capacità dell’Amministrazione di rendere sé stessa consapevole della natura, delle possibilità e dei limiti dello strumento impiegato, dando conto, ove non sia possibile per i motivi esposti rendicontare direttamente l’algoritmo utilizzato, dell’iter decisionale, delle valutazioni ed analisi (peraltro – per inciso – in parte coincidenti con quelle necessarie anche ai fini del Regolamento GDPR per poter elaborare dati mediante un certo software) che sono state effettuate prima di adottare il software.

Laddove residui un margine di errore accettabile, il sindacato giurisdizionale rimarrà allora un rimedio per quei soli provvedimenti che presentino, nonostante le descritte cautele, vizi residui.

In questo senso la sentenza in commento sembrerebbe doversi intendere, non come un limite assoluto nell’utilizzo di software da parte della P.A. ma come una fonte di criteri guida per l’adozione dei medesimi, che deve essere supportata da un efficiente e motivata valutazione effettuata in trasparenza per il cittadino.

Note:

[1] Sentenze TAR Lazio 3742 e 3769/2017. Mi permetto, vista la similitudine di argomento, sulle medesime di rinviare al mio commento Accesso al software e relativo algoritmo, in Dir. Inf., 2019. (in corso di pubblicazione)

[2] Al riguardo l’Agenzia per l’Italia Digitale ha recentemente emanato un libro bianco sull’Intelligenza Artificiale al Servizio del Cittadino, disponibile su https://ia.italia.it/assets/librobianco.pdf

[3] Sulla motivazione per relationem si rinvia a GAROFOLI-FERRARI, Manuale di Diritto Amministrativo, XII ed., Molfetta, 2018, 913 ss.; VILLATA-RAMAJOLI, Il provvedimento amministrativo, Torino, 2017, 292 ss.

Il presente contributo costituisce un primo commento che l’Autore si riserva di approfondire in successivi lavori.