Rozsudek Soudního dvora EU (dále „SDEU“) č. 634/21 ve věci SCHUFA Holding AG (dále „SCHUFA“) se zabýval tzv. rozhodováním založeném výhradně na automatizovaném zpracování osobních a jiných údajů. Co se za touto mírně nesrozumitelnou větou skrývá? Jde o případy, kdy počítače nebo právě systémy umělé inteligence rozhodují namísto lidí o tom, zda dotčená osoba dostane úvěr, bude ji přiznáno právo na azyl, bude přijata do zaměstnání apod. A hned na úvod je třeba uvést, že takové rozhodování by podle GDPR měli vždy provádět lidé, nikoliv počítače.
Profilování dle čl. 22 GDPR
Účelem regulace v čl. 22 GDPR (nařízení o ochraně osobních údajů) je zamezit tomu, aby rozhodnutí, které mají značný význam a dopad na fyzické osoby (subjekty údajů), nebyla činěna výlučně prostřednictvím technologií schopných přijímat taková rozhodnutí automatizovaně a bez toho, aby konečné rozhodnutí přijal nebo je alespoň podstatně ovlivnil člověk. Typickým příkladem je posuzování úvěrové bonity nebo rozhodování o způsobu léčby. Taková rozhodnutí by podle GDPR neměla být přijímána výhradně na základě automatizovaného zpracování, tedy bez lidského zásahu. Recitál k GDPR pak v bodě 71 zmiňuje výslovně „právo na lidský zásah“, a vedle toho také právo na získání vysvětlení o rozhodnutí a na napadení takového rozhodnutí.
Článek 22 GDPR proto plně automatizované zpracování včetně profilování (viz čl. 4 odst. 4 GDPR) obecně zakazuje, pokud došlo současně k naplnění těchto tří podmínek:
- jde o „rozhodnutí“, a
- rozhodnutí je založeno „výhradně na automatizovaném zpracování“, a
- rozhodnutí má pro dotčenou osobu (subjekt údajů) „právní účinky nebo se ho obdobným způsobem významně dotýká.“
Jen pro úplnost uvádím, že zákaz v čl. 22 odst. 1 GDPR není absolutní, naopak v čl. 22 odst. 2 GDPR je rozhodování založené výhradně na automatickém zpracování přípustné za splnění tam uvedených podmínek.
Původní spor u německého soudu
SCHUFA Holding AG (dále „SCHUFA“) je soukromá německá společnost, která poskytuje svým klientům informace o úvěrové bonitě třetích osob, zejména spotřebitelům. Typickým klientem jsou tedy banky poskytující spotřebitelské úvěry. SCHUFA stanoví pravděpodobnost týkající se schopnosti konkrétní osoby splácet v budoucnu úvěr, o který žádá, a to na základě vyhodnocení vybraných údajů o osobě, která žádá o úvěr.
Poté, co žalobci odmítla banka poskytnout úvěr na základě výsledku úvěrového ratingu poskytnutého společností SCHUFA, obrátil se žalobce přímo na společnost SCHUFA s žádostí o poskytnutí informací ohledně zpracování jeho osobních údajů a o případnou opravu těch, které byly nesprávné. Této žádosti SCHUFA vyhověla jen zčásti, ve zbytku odkázala na obchodní tajemství a navíc poukázala na skutečnost, že sama pouze předává výsledky scoringu svým smluvním partnerům a až ti přijímají rozhodnutí ohledně toho, zda dotčeným osobám poskytnou či neposkytnou úvěr.
Německý soud se obrátil na SDEU s předběžnou otázkou, zda již automatizované stanovení hodnoty pravděpodobnosti týkající se schopnosti splácet v budoucnu úvěr představuje rozhodnutí založené výhradně na automatizovaném zpracování.
Rozhodnutí SDEU
Podstatný je pojem „rozhodnutí“ uvedený v čl. 22 GDPR, který není definován ani nijak upřesněn nebo vymezen. Podle SDEU je proto možné pojem rozhodnutí vykládat široce a to i tak, aby zahrnoval také výsledek výpočtu solventnosti osoby ve formě hodnoty pravděpodobnosti schopnosti splácet v budoucnosti
SDEU dále konstatoval, že hodnota pravděpodobnosti, jak ji stanoví SCHUFA, hraje rozhodující úlohu při poskytování úvěru a proto musí být stanovení této hodnoty kvalifikováno jako rozhodnutí, které vůči dotčené osobě vyvolává „právní účinky nebo se ho obdobným způsobem významně dotýká“
A konečně se SDEU vyjádřil i k námitce společnosti SCHUFA ohledně toho, že ona sama žádné rozhodnutí nečiní, pouze poskytuje hodnotu pravděpodobnosti za úplatu svým klientům zejména z řad bank. SDEU k této námitce uvedl, že hrozí riziko obcházení čl. 22 GDPR pokud by bylo stanovení hodnoty pravděpodobnosti ze strany SCHUFA považováno pouze za přípravný akt a za „rozhodnutí“ ve smyslu čl. 22 odst. 1 GDPR by bylo považováno až rozhodnutí třetího subjektu (banky) o tom, že úvěr dotyčné osobě nepřizná.
SDEU proto rozhodnul následovně:
Čl. 22 odst. 1 GDPR musí být vykládán v tom smyslu, že automatizované stanovení hodnoty pravděpodobnosti založené na osobních údajích týkajících se osoby a její schopnosti splnit v budoucnu platební závazky, které provádí obchodní informační agentura, představuje „automatizované individuální rozhodování“ ve smyslu tohoto ustanovení, pokud na této hodnotě pravděpodobnosti rozhodujícím způsobem závisí skutečnost, zda třetí osoba, které je uvedená hodnota pravděpodobnosti sdělena, uzavře smluvní vztah s touto osobou, bude z něj plnit či jej ukončí.
Význam rozsudku pro systémy umělé inteligence (AI)
V tomto konkrétním případě asi měl shora uvedený extenzivnější výklad SDEU význam. Ovšem celkově přináší rozsudek spíše další nejistotu, protože do značné míry ignoruje způsob, jakým bylo finální rozhodnutí banky o schválení či zamítnutí úvěru přijato, tj. zda tam byl či nebyl dostatečný „lidský zásah“. SDEU naopak předjímá, že už automatizované stanovení hodnoty pravděpodobnosti provedené dříve naplňuje samo o sobě znaky (nedovoleného) automatizovaného zpracování ve smyslu čl. 22 odst. 1 GDPR, pokud výstup automatizovaného zpracování „rozhodujícím způsobem“ ovlivňuje finální rozhodnutí banky.
Zatímco z textace článku 22 odst. 1 GDPR vyplývá, že nedovolené je rozhodování založené výhradně na automatizovaném zpracování (tj. zcela bez lidského zásahu nebo jen s formální účastí), SDEU to posouvá a uvádí, že nedovolené je už takové automatizované zpracování, které rozhodujícím způsobem ovlivňuje následné rozhodnutí (i kdyby tam lidský zásah byl). A přiznejme si, právě to je smysl většiny podobných služeb ale také systémů umělé inteligence, které zpracovávají vstupy a na základě předem stanovených hodnot a vodítek připravují podklady pro finální rozhodnutí.
Už nyní takové systémy umělé inteligence zařazuje AI Act (nařízení o umělé inteligenci) mezi vysoce rizikové systémy umělé inteligence, do budoucna navíc i poskytovatelé takových služeb založených na vyhodnocování dat prostřednictvím umělé inteligence budou muset řešit, na jakém právním základě mohou takové vyhodnocování vůbec provádět. Na základě čl. 22 odst. 2 GDPR by připadal v úvahu často pouze souhlas dotčených osob (subjektů údajů), což je v řadě případů v podstatě nemožné (např. provozovatel systému určeného k odhalování plagiátů), v jiných případech by to navýšilo administrativní zátěž (např. provozovatel systému používaného pro účely stanovení lékařské diagnózy).
Je třeba si uvědomit, že co platí na hodnocení pravděpodobnosti provedené společností SCHUFA, se bude vztahovat i na výstupy systémů umělé inteligence.
Závěr
Bude zajímavé sledovat, jak bude dále postupovat příslušný německý soud, který se s předběžnými otázkami obrátil na SDEU. Protože spor samotný rozsudkem SDEU samozřejmě neskončil. Přesto se obávám, že pojem „automatizované rozhodování, které rozhodujícím způsobem ovlivňuje finální rozhodování“ je hodně gumový a bude v závislosti na konkrétních okolnostech vykládán různě. Na větší míru jistoty při výkladu článku 22 GDPR si proto nejspíše ještě nějakou dobu počkáme.
Petr Otevřel | otevrel@lawyer.cz | LinkedIn
Petr je společníkem advokátní kanceláře Jansa, Mokrý, Otevřel & partneři s.r.o. a zabývá se zejména právem informačních technologií, osobních údajů a autorským právem.
