Când un algoritm evaluează riscul, cine răspunde pentru rezultat?

Inteligența artificială în evaluarea riscului penal: între predicția statistică, individualizarea evaluării și responsabilitatea juridică

Să presupunem că două persoane, aflate în situații aparent comparabile, sunt evaluate de același sistem de inteligență artificială. Prima primește un scor asociat unui risc redus, în timp ce pentru cea de-a doua sistemul indică un risc ridicat. Dacă rezultatele sunt utilizate în fundamentarea unei decizii care poate afecta situația juridică a celor două persoane, diferența dintre scoruri nu mai reprezintă doar o problemă tehnică. Ea devine o problemă de justificare, de control și, în cele din urmă, de responsabilitate juridică.

Este posibil ca algoritmul să fi identificat factori relevanți, dificil de corelat printr-o analiză exclusiv manuală. Este însă la fel de posibil ca diferența să fie determinată de date incomplete, de variabile insuficient justificate sau de corelații statistice care nu reflectă în mod adecvat particularitățile situației individuale.

Într-un asemenea context, întrebarea esențială nu este doar dacă algoritmul a produs un rezultat corect din punct de vedere tehnic, ci și dacă acel rezultat este suficient de relevant, verificabil și legitim pentru a fi utilizat într-o evaluare cu implicații juridice.

Problema fundamentală apare atunci când rezultatul algoritmic încetează să mai fie un instrument de sprijin și ajunge să funcționeze, în practică, drept substitut al raționamentului juridic.

1. Predicția statistică nu este o certitudine individuală

Sistemele de inteligență artificială pot identifica regularități în volume mari de date, pot corela variabile și pot estima probabilitatea producerii anumitor evenimente. În domeniul penal, asemenea instrumente pot fi utilizate, în funcție de cadrul juridic aplicabil, pentru sprijinirea unor evaluări privind riscul de victimizare, de comitere a unor infracțiuni sau de recidivă.

Utilitatea lor potențială nu trebuie ignorată. Analiza asistată algoritmic poate contribui la organizarea informațiilor, la identificarea unor factori care necesită examinare suplimentară și la formularea unor ipoteze de lucru. Aceste avantaje nu transformă însă rezultatul statistic într-o concluzie certă cu privire la conduita viitoare a unei anumite persoane.

O estimare a riscului exprimă o probabilitate calculată în raport cu datele disponibile, variabilele selectate, metoda utilizată și populația de referință. Ea nu demonstrează că persoana evaluată va adopta un anumit comportament. Cu atât mai puțin poate constitui, prin ea însăși, o dovadă a unei intenții infracționale viitoare.

Această distincție este esențială în dreptul penal, unde evaluarea unei persoane trebuie să respecte garanțiile juridice aplicabile și să nu confunde probabilitatea statistică cu existența unor fapte concrete. În plan execuțional penal, ea este la fel de importantă atunci când evaluarea riscului este utilizată pentru fundamentarea unor aprecieri individualizate asupra persoanei condamnate și a parcursului său în executarea sancțiunii.

Prin urmare, scorul algoritmic trebuie interpretat în limitele scopului pentru care a fost conceput și ale validității sale. Semnificația sa nu poate fi stabilită independent de contextul juridic în care este utilizat.

2. Datele, criteriile de evaluare și riscul unei aparente obiectivități

Un algoritm nu operează într-un vid informațional. Rezultatele sale depind de datele pe care le prelucrează, de criteriile utilizate pentru antrenarea sau configurarea sistemului și de modul în care dezvoltatorii au definit problema care trebuie rezolvată.

Dacă datele istorice reflectă practici instituționale inegale, diferențe în intensitatea supravegherii ori modalități selective de colectare a informațiilor, modelul poate reproduce aceste dezechilibre sau le poate amplifica. În consecință, o asociere statistică poate ajunge să fie interpretată drept un indicator al riscului individual, deși reflectă, cel puțin parțial, particularitățile procesului prin care datele au fost generate.

Nici performanța statistică ridicată nu înlătură automat această dificultate. Un sistem poate produce rezultate consecvente și poate avea o capacitate predictivă măsurabilă, fără ca toate variabilele utilizate să fie relevante juridic sau adecvate scopului concret al evaluării.

Trebuie distinse, așadar, cel puțin trei dimensiuni ale validității unui asemenea instrument: performanța sa tehnică, relevanța criteriilor utilizate și compatibilitatea rezultatelor cu exigențele juridice aplicabile.

Prima privește capacitatea modelului de a produce estimări suficient de precise în condițiile pentru care a fost validat. A doua privește legătura dintre variabilele analizate și fenomenul evaluat. Cea de-a treia privește posibilitatea utilizării rezultatului într-un proces decizional care respectă legalitatea, proporționalitatea și drepturile fundamentale.

Aceste dimensiuni se intersectează, dar nu se confundă. Un rezultat poate fi performant statistic fără a fi, prin aceasta, suficient pentru a justifica o anumită consecință juridică.

Riscul cel mai dificil de identificat apare atunci când cuantificarea conferă unei evaluări o aparență de obiectivitate care depășește ceea ce datele și metoda pot susține efectiv. Exprimat numeric, rezultatul pare precis. Precizia formei nu garantează însă validitatea concluziei.

3. Cadrul european: între interdicții și utilizări cu risc ridicat

Regulamentul (UE) 2024/1689 privind inteligența artificială instituie un cadru juridic diferențiat, care distinge între practicile interzise și sistemele ale căror utilizări sunt supuse unor cerințe specifice în funcție de riscurile pe care le pot genera.

În ceea ce privește evaluarea riscului penal, art. 5 alin. (1) lit. d) interzice anumite sisteme de inteligență artificială destinate evaluării sau predicției riscului ca o persoană fizică să comită o infracțiune, atunci când evaluarea se bazează exclusiv pe profilarea persoanei ori pe aprecierea trăsăturilor și caracteristicilor sale personale. Textul prevede o excepție pentru sistemele utilizate în sprijinul evaluării umane a implicării unei persoane într-o activitate infracțională, evaluare deja întemeiată pe fapte obiective și verificabile, direct legate de activitatea respectivă.

Distincția este importantă: regulamentul nu consacră o interdicție generală a oricărei analize algoritmice a riscului, ci delimitează o practică interzisă în raport cu baza evaluării și scopul urmărit.

În același timp, anexa III pct. 6 include în categoria sistemelor de inteligență artificială cu risc ridicat anumite utilizări în domeniul aplicării legii, între care evaluarea riscului ca o persoană să devină victima unei infracțiuni și, în condițiile prevăzute de regulament, evaluarea riscului de comitere sau repetare a unei infracțiuni. Încadrarea și obligațiile aplicabile trebuie analizate în raport cu scopul concret al sistemului, condițiile de utilizare și dispozițiile relevante ale regulamentului.

Aceste prevederi exprimă o opțiune normativă semnificativă: potențialul de eficientizare oferit de tehnologie nu justifică diminuarea garanțiilor atunci când utilizarea sa poate afecta drepturile persoanelor.

Totuși, încadrarea unui sistem în categoria celor cu risc ridicat nu echivalează, prin ea însăși, cu autorizarea utilizării sale într-un anumit context. Cerințele regulamentului trebuie examinate împreună cu normele aplicabile domeniului respectiv și cu eventualele condiții sau interdicții prevăzute de dreptul Uniunii și de dreptul național.

În consecință, legalitatea utilizării unui instrument nu poate fi dedusă exclusiv din clasificarea sa tehnică. Ea presupune analiza atât a regimului juridic al sistemului, cât și a competenței autorității, a scopului prelucrării și a consecințelor pe care utilizarea le poate produce.

4. Supravegherea umană și obligația de motivare

Prezența unei persoane în procesul decizional nu constituie, prin ea însăși, o garanție suficientă. Dacă evaluatorul acceptă automat scorul produs de sistem, fără să îi examineze fundamentul și fără să verifice dacă acesta corespunde situației individuale, intervenția umană riscă să devină pur formală.

Supravegherea efectivă presupune capacitatea de a înțelege limitele instrumentului, de a identifica informațiile care au contribuit la rezultat și de a aprecia dacă acestea sunt relevante în circumstanțele concrete. Ea presupune, de asemenea, posibilitatea de a pune sub semnul întrebării concluzia algoritmică și de a nu o urma atunci când există motive întemeiate.

În acest context, explicabilitatea nu trebuie redusă la furnizarea unei descrieri tehnice a modelului. Din perspectivă juridică, este important ca autoritatea competentă să poată identifica rațiunile relevante pentru utilizarea rezultatului și să explice legătura dintre informațiile examinate, concluzia formulată și măsura avută în vedere.

Nivelul de explicare necesar depinde de sistem, de contextul utilizării și de efectele deciziei. Totuși, cu cât consecințele potențiale asupra drepturilor persoanei sunt mai grave, cu atât devin mai importante verificabilitatea rezultatului, documentarea evaluării și posibilitatea unui control efectiv.

Nu orice utilizare a unui instrument algoritmic impune aceeași formă de motivare. Dar simpla menționare a unui scor nu poate înlocui justificarea juridică atunci când aceasta este necesară pentru decizia respectivă.

În plus, persoana vizată trebuie să beneficieze de garanțiile procedurale aplicabile, inclusiv de posibilitatea de a contesta rezultatul sau modul în care acesta a fost utilizat, în condițiile prevăzute de lege.

5. Responsabilitatea nu poate fi transferată algoritmului

Întrebarea din titlu conduce la o problemă fundamentală: cine răspunde atunci când un rezultat algoritmic contribuie la o decizie greșită?

Răspunsul nu poate fi formulat prin atribuirea automată a întregii responsabilități unei singure categorii de actori. Trebuie diferențiate obligațiile furnizorului sistemului, responsabilitățile instituției care îl utilizează și atribuțiile persoanei competente să adopte decizia.

Furnizorul poate avea obligații privind proiectarea, documentarea, testarea, performanța și conformitatea sistemului, în funcție de rolul său și de regimul juridic aplicabil. Instituția utilizatoare trebuie să respecte condițiile legale ale utilizării, să asigure organizarea adecvată a procesului decizional și să verifice limitele instrumentului. Persoana care exercită competența decizională trebuie să își îndeplinească atribuțiile în conformitate cu normele care îi guvernează activitatea.

Aceste responsabilități nu sunt identice și nici nu se exclud reciproc. Identificarea răspunderii juridice într-un caz concret presupune examinarea obligațiilor aplicabile fiecărui actor, a conduitei sale și a legăturii dintre aceasta și rezultatul produs. Nu orice eroare algoritmică generează automat aceeași formă de răspundere și nici nu orice utilizare a unui sistem transferă furnizorului răspunderea pentru decizia autorității.

Principiul care trebuie păstrat este însă clar: faptul că un program a generat un scor nu exonerează autoritatea competentă de obligația de a respecta legea în adoptarea deciziei. Tehnologia poate contribui la fundamentarea unei evaluări, dar nu poate deveni un substitut pentru exercitarea responsabilă a competenței juridice.

6. Particularitățile dreptului execuțional penal

În dreptul execuțional penal, problema dobândește o relevanță specifică deoarece evaluările individualizate pot contribui la fundamentarea unor decizii privind situația persoanei condamnate pe parcursul executării sancțiunii.

Un instrument algoritmic ar putea, de exemplu, să sprijine organizarea informațiilor relevante pentru evaluarea riscului de recidivă sau identificarea unor nevoi care necesită examinare suplimentară. Utilitatea unei asemenea abordări depinde însă de validitatea instrumentului, de relevanța datelor și de compatibilitatea utilizării sale cu cadrul juridic aplicabil.

Un scor nefavorabil nu poate fi interpretat automat ca dovadă a unei conduite viitoare și nici nu poate înlocui analiza individualizată impusă de lege. În mod similar, un scor favorabil nu elimină necesitatea examinării celorlalte informații relevante pentru decizia avută în vedere.

Evaluarea persoanei nu poate fi redusă la clasificarea sa într-o categorie statistică. Situația individuală, evoluția în timp, informațiile actuale și circumstanțele relevante trebuie analizate în raport cu scopul evaluării și cu normele care guvernează decizia.

Din această perspectivă, utilizarea inteligenței artificiale ridică nu doar o problemă de acuratețe, ci și una de individualizare juridică. Un sistem poate furniza informații utile, însă relevanța lor trebuie stabilită în contextul concret, iar concluzia trebuie să poată fi justificată prin raportare la criterii juridice pertinente.

Erorile produse într-un asemenea proces nu trebuie tratate exclusiv ca imperfecțiuni ale unui produs informatic. În măsura în care rezultatul influențează o decizie cu efecte asupra persoanei, ele pot ridica probleme privind legalitatea, echitatea procedurii și respectarea drepturilor fundamentale.

7. De la performanța algoritmică la legitimitatea juridică

Nu este necesar să respingem utilizarea inteligenței artificiale pentru a recunoaște limitele acesteia. Un instrument adecvat, validat pentru scopul său și utilizat în condiții legale poate contribui la eficientizarea activității profesionale și la organizarea mai riguroasă a informațiilor.

Condiția este ca performanța tehnică să nu fie confundată cu suficiența juridică. Un rezultat poate fi relevant pentru analiză fără a fi decisiv pentru concluzie. Poate justifica verificări suplimentare fără a constitui, prin el însuși, temeiul unei măsuri. Poate semnala o posibilitate fără a demonstra că aceasta se va concretiza.

De aceea, evaluarea unui asemenea sistem trebuie să depășească întrebarea dacă algoritmul produce rezultate precise. Trebuie examinate și calitatea datelor, adecvarea criteriilor, limitele predicției, posibilitatea verificării și consecințele utilizării rezultatului asupra persoanei vizate.

În cele din urmă, problema nu este dacă tehnologia poate participa la procesul de evaluare, ci în ce condiții participarea sa este compatibilă cu exigențele dreptului.

Atunci când sunt în joc libertatea, drepturile fundamentale și situația juridică a unei persoane, scorul algoritmic nu poate constitui răspunsul final. El poate fi cel mult un element al unei analize care trebuie să rămână verificabilă, individualizată și conformă legii.

Înainte de a întreba cât de performant este algoritmul, trebuie să stabilim ce anume are dreptul să evalueze, în ce condiții poate fi utilizat rezultatul său și ce garanții protejează persoana vizată. Iar atunci când rezultatul contribuie la o decizie juridică, întrebarea decisivă rămâne aceasta: cine își asumă raționamentul, cine îl poate verifica și în ce condiții poate fi contestat?