Systémy pro detekci cílů pomocí strojového učení

Potřebujete s tématem poradit? Obraťte se na advokátní kancelář ARROWS na e-mail office@arws.cz nebo telefon +420 245 007 740. Váš dotaz rád zodpoví "JUDr. Jakub Dohnal, Ph.D.,LL.M.", expert na dané téma.

Co je strojové učení pro detekci cílů a proč se to týká vaší firmy?

Laicky řečeno, strojové učení (Machine Learning neboli ML) je odvětví umělé inteligence (AI), které umožňuje počítačům učit se samostatně z dat, aniž by byly pro každý krok explicitně naprogramovány. Pokročilou formou je hluboké učení (Deep Learning), které využívá neuronové sítě k řešení složitějších úkolů, jako je právě strojové vidění.

Pro vaši firmu to znamená technologii, která dokáže automaticky identifikovat, klasifikovat a sledovat objekty, anomálie nebo dokonce osoby.

Možná už podobné systémy zvažujete nebo používáte. Praktické příklady vidíme všude:

• Výroba: Detekce mikroskopických vad výrobků na lince, kontrola správné montáže dílů nebo prediktivní údržba strojů.
• Bezpečnost: Detekce anomálií v kybernetickém provozu, odhalování podvodů v reálném čase nebo monitoring provozů pro zajištění BOZP.
• Logistika: Optimalizace tras na základě predikce provozu a analýzy dat z kamer.
• Obchod a HR: Analýza vzorců chování zákazníků na e-shopu nebo analýza dat při náborových procesech.

Všechny tyto aplikace mají společný jmenovatel: sbírají a analyzují obrovské množství dat. Problém nastává v okamžiku, kdy tato data jakkoli souvisejí s identifikovatelnými osobami – ať už jde o vaše zaměstnance na lince, řidiče v logistice nebo zákazníky na webu. V tu chvíli se technologická výhoda stává právním rizikem.

Implementace AI pro detekci není jen technologické rozhodnutí, ale především právní a compliance rozhodnutí, které musí být posouzeno před nákupem softwaru.

Riziko č. 1: Past jménem GDPR a monitoring

Mnoho firem se mylně domnívá, že pokud je kamera namířena na stroj, GDPR se jich netýká. Opak je pravdou. Jakmile AI kamerový systém zabírá i pracovníky, kteří se kolem stroje pohybují, dochází ke sběru a zpracování osobních údajů. Často jde navíc o citlivé biometrické údaje.

Toto zpracování musí splňovat přísné zásady GDPR, zejména princip zákonnosti, korektnosti a transparentnosti. Největší riziko představuje monitoring zaměstnanců.

Zákoník práce a GDPR staví monitoringu zaměstnanců přísné mantinely. Dělat to na základě „souhlasu“ je prakticky nemožné, protože v pracovněprávním vztahu není souhlas považován za svobodný. Právním základem tak téměř vždy musí být tzv. oprávněný zájem zaměstnavatele.

Zde ale nastává problém. Pro prokázání oprávněného zájmu musíte provést balanční test (LIA), ve kterém prokážete, že váš zájem (např. ochrana majetku nebo bezpečnost) převažuje nad právem zaměstnance na soukromí.

S největší pravděpodobností ne. Pouhý zájem na "zlepšení efektivity" obvykle nepřeváží nad právem zaměstnance na soukromí. Museli byste prokázat mnohem závažnější důvod, např. bezpečnost. I tak musí být monitoring přiměřený.

2. Musím informovat zaměstnance, že je kamera "chytrá" (využívá AI)?

Ano, jednoznačně. Princip transparentnosti vyžaduje, abyste subjekty údajů informovali stručně, srozumitelně a úplně. Zatajení faktu, že systém provádí AI analýzu, je závažným porušením GDPR. Pro firmy, které AI reálně nasazují, je užitečné mít nastavené i procesy a odpovědnosti v rámci ai governance ve firmách. Pomůžeme vám připravit srozumitelnou informační doložku. Napište na office@arws.cz.

A právě zde AI situaci komplikuje. Zatímco běžná kamera je méně invazivní, AI kamera nejen nahrává, ale aktivně analyzuje – detekuje obličeje, měří čas nečinnosti, sleduje pohyb. To je mnohem závažnější zásah do soukromí, a proto je u soudu či kontroly mnohem těžší obhájit, že je takový monitoring přiměřený.

Soudní spory, jako byl známý případ Bărbulescu, jasně ukazují, že evropské soudy soukromí zaměstnanců intenzivně chrání. Nasazení AI monitoringu bez pečlivé právní analýzy je časovanou bombou. Při zavádění podobných systémů je často potřeba pokrýt i smluvní nastavení, odpovědnost dodavatele a interní compliance v rámci implementace umělé inteligence (ai).

Nezapomínejme na sankce. Za porušení GDPR hrozí pokuty až do výše 20 milionů EUR nebo 4 % z celosvětového ročního obratu. 

Monitoring zaměstnanců pomocí AI je jednou z nejrizikovějších oblastí GDPR, kterou v ARROWS řešíme pro naše korporátní klienty velmi často. Pomůžeme vám připravit interní směrnice o monitoringu, které jasně definují účel a rozsah. Provedeme za vás nezbytný balanční test (LIA) a připravíme posouzení vlivu na ochranu osobních údajů (DPIA), abyste byli chráněni při případné kontrole.

Potřebujete právní pomoc s nastavením monitoringu? Kontaktujte nás na office@arws.cz.

Detekce a rizika podle GDPR

Následující tabulka ukazuje běžná rizika při zavádění detekčních systémů a konkrétní právní služby, kterými jim ARROWS pomáhá předcházet.

Riziko č. 2: EU AI Act – Nový pán evropské regulace

Pokud jste si mysleli, že GDPR je komplikované, připravte se na AI Act. Nařízení EU 2024/1689, známé jako AI Act, je první komplexní právní rámec pro umělou inteligenci na světě. Většina jeho klíčových ustanovení vstupuje v platnost v průběhu roku 2026.

Klíčovou informací pro všechny firmy je extrateritoriální působnost nařízení. AI Act se vztahuje na každého, kdo uvádí AI systém na trh v EU nebo jehož výstup je použit v EU, bez ohledu na to, kde firma sídlí.

Nařízení dělí AI systémy do čtyř kategorií podle rizika: nepřijatelné (zakázané), vysoce rizikové, omezené a minimální. Zatímco systémy s minimálním rizikem regulovány téměř nejsou, mnoho B2B detekčních systémů spadne do kategorie "vysoce rizikových" (High-Risk).

To se vás týká, pokud AI používáte v oblastech, jako jsou:

• HR a řízení pracovníků: Nástroje pro nábor, hodnocení výkonu nebo monitorování chování zaměstnanců.
• Kritická infrastruktura: Řízení provozu, energetické sítě.
• Biometrická identifikace: Většina pokročilých kamerových systémů pro detekci osob.
• Posuzování úvěruschopnosti

Pokud váš systém spadá do kategorie High-Risk, AI Act na vás klade zcela nové povinnosti. Musíte zavést systém řízení rizik po celou dobu životnosti AI, zajistit přísnou správu dat (Data Governance), vést podrobnou technickou dokumentaci, logovat události a především zajistit robustní lidský dohled.

Zde narážíme na zásadní střet byznysu a práva. Hlavním důvodem pro nákup AI je automatizace a snížení nákladů na lidskou práci. AI Act však u rizikových systémů právně vyžaduje efektivní lidský dohled. Náklady na compliance (včetně nákladů na povinný lidský dohled) tak musí být započítány v business case před investicí.

Zavádění AI Actu bude pro firmy srovnatelně náročné jako implementace GDPR. Naši právníci v ARROWS se na tuto oblast specializují. Poskytujeme komplexní právní konzultace a audity (Gap-analysis), které zjistí, zda vaše systémy spadají do kategorie "vysoce rizikových". Pomůžeme vám s přípravou kompletní povinné dokumentace a nastavením interních systémů řízení rizik. Pro okamžité řešení vaší situace nám napište na office@arws.cz.

Riziko č. 3: Když AI selže aneb Kdo zaplatí škodu?

Dosud byla odpovědnost za chyby softwaru právní "šedou zónou". To se však radikálně změnilo s novou směrnicí o odpovědnosti za vadné výrobky, která byla publikována v listopadu 2024.

Tato směrnice přináší revoluční změnu: Výslovně definuje software a systémy umělé inteligence jako „výrobek“.

Pokud jste firma, která vyvíjí AI software, nebo výrobce, který AI integruje do svých strojů (např. do výrobní linky), stáváte se výrobcem "výrobku". Budete tak nést objektivní odpovědnost za škodu (na zdraví, na majetku), kterou vaše "vadná" AI způsobí.

AI je přitom považována za "vadnou", pokud neposkytuje bezpečnost, kterou od ní lze oprávněně očekávat. A teď pozor: směrnice bere v potaz i schopnost AI dále se učit po uvedení na trh.

Představte si, že dodáte stroj s AI na detekci vad. Tato AI se u zákazníka učí na nových datech, ale vytvoří si nesprávnou korelaci a začne pouštět vadné výrobky. Tyto výrobky způsobí konečnému spotřebiteli škodu. Podle nové směrnice jste za tuto škodu odpovědní vy jako výrobce AI, i když k "vadě" došlo až učením u zákazníka.

Tato nová odpovědnostní rizika je naprosto nezbytné ošetřit smluvně. Právníci ARROWS mají rozsáhlé zkušenosti s přípravou a revizí smluv na dodávky technologií. Zajistíme, aby vaše obchodní smlouvy (s dodavateli AI i s odběrateli) jasně definovaly odpovědnost za škody způsobené AI. Neváhejte se obrátit na naši kancelář – office@arws.cz.

AI Act a odpovědnost za škody

Nová regulace přináší nová rizika a astronomické pokuty. Zde je přehled těch nejzávažnějších.

Skryté hrozby: Algoritmická diskriminace (Bias) a duševní vlastnictví

Kromě pokut z GDPR a AI Actu číhají na firmy i další, méně zjevná rizika.

Riziko č. 4: Algoritmická diskriminace (Bias)

AI systémy mohou být diskriminační, i když to nebyl záměr programátora. Problém je v trénovacích datech. Pokud se AI učí na historických datech, která odrážejí lidské předsudky (např. že na vedoucích pozicích byli v minulosti převážně muži), AI se tento vzorec naučí a bude jej replikovat.

Příkladem je detekční systém v HR, který vyhodnocuje video pohovory a systematicky dává nižší skóre kandidátům s jinou barvou pleti nebo přízvukem. To je algoritmická diskriminace – a je v přímém rozporu s antidiskriminační legislativou.

Riziko č. 5: Duševní vlastnictví (IP)

Klíčová otázka zní: Komu patří, co AI vytvoří? Podle českého autorského zákona (Zákon č. 121/2000 Sb.) může být autorem pouze fyzická osoba. Samotná AI autorem být nemůže.

Autorem výstupu je tak typicky uživatel, který AI zadal kreativní a konkrétní pokyny (tzv. prompty). Problém ale nastává, pokud AI trénovala na datech chráněných autorským právem a výstup je v zásadě napodobeninou cizího díla. Odpovědnost za porušení práv třetích osob nese zpravidla uživatel, který výstup použil.

V ARROWS se těmto rizikům věnujeme. Provedeme odborné školení pro vaše zaměstnance (zejména HR a management), jak rozpoznat a předcházet rizikům algoritmické diskriminace. Zároveň přezkoumáme licenční smlouvy s dodavateli AI, abychom zajistili, že jste chráněni před nároky třetích stran z porušení IP. Naši právníci jsou připraveni vám pomoci – napište na office@arws.cz.

Je to princip (vyžadovaný AI Actem i GDPR), který říká, že musíte být schopni vysvětlit, jak AI dospěla ke svému rozhodnutí. U komplexních "black-box" modelů to může být technicky obtížné, ale právně je to nutné.

2. Kdo vlastní autorská práva, když můj zaměstnanec použije AI k vytvoření grafiky?

Pokud zaměstnanec jednal v rámci plnění pracovních povinností, bude se jednat o zaměstnanecké dílo. Práva vykonáváte vy jako zaměstnavatel. Problém ale nastane, pokud AI porušila cizí práva. Řešíte práva k dílům vytvořeným AI? Napište nám na office@arws.cz.

AI nezná hranice: Právní podpora v mezinárodním měřítku

Umělá inteligence je globální byznys. Můžete mít data trénovaná v USA, software hostovaný v Asii a zákazníky v Evropě. Regulace je ale roztříštěná.

Zatímco EU zavádí nejpřísnější, komplexní regulaci založenou na riziku (AI Act), USA volí spíše pro-inovační přístup založený na tržních standardech a pokynech (NIST). Asie je rozdělena – Čína má specifické, přísné zákony, zatímco Singapur podporuje inovace "měkkým", dobrovolným rámcem.

Pro českou firmu s globálními ambicemi je tato situace právní noční můrou. Jaký standard dodržet? Odpověď je jednoduchá: ten nejpřísnější. Díky extrateritoriální působnosti AI Actu se evropský standard stává de facto globálním standardem pro každého, kdo chce na evropský trh.

Pro naše klienty, kteří operují globálně, je toto klíčové. Díky deset let budované síti ARROWS International řešíme právní soulad AI projektů s mezinárodním prvkem prakticky denně. Ať už řešíte přeshraniční přenos dat pro trénování AI, licenční smlouvy s americkým dodavatelem nebo vstup na asijský trh, náš mezinárodní tým je připraven vám poskytnout plnou právní podporu. Potřebujete právní pomoc s mezinárodním přesahem? Kontaktujte nás na office@arws.cz.

Partnerství s ARROWS: Od právního auditu po ochranu před pokutami

Implementace AI detekčních systémů není volba, ale nutnost pro udržení konkurenceschopnosti. Udělat to bez špičkového právního krytí je však hazard, který si nemůžete dovolit.

V ARROWS nejsme jen dodavatelé právních stanovisek. Jsme partneři vašeho byznysu. Dlouhodobě poskytujeme služby pro více než 150 akciových společností, 250 s.r.o. a 50 obcí a krajů. Zakládáme si na rychlosti a vysoké kvalitě.

Navíc umíme naše klienty také propojit, pokud vidíme zajímavé investiční nebo obchodní příležitosti. Rádi si poslechneme i vaše byznysové nápady.

Náš tým je připraven vám okamžitě pomoci, ať už potřebujete:

• Kompletní AI/GDPR audit a Gap-analýzu
• Vyhotovení interních směrnic pro monitoring a používání AI
• Přípravu nebo revizi smluv s dodavateli AI technologií 
• Zastupování u soudů a správních orgánů (např. ÚOOÚ)
• Odborná školení pro váš management a zaměstnance.

Zajistěte svému inovativnímu byznysu právní ochranu, kterou si zaslouží. Naši právníci jsou připraveni vám pomoci – napište na office@arws.cz.

Jde o systém, jehož selhání nebo nesprávné použití může mít vážný dopad na základní práva, zdraví nebo bezpečnost. AI Act jmenuje konkrétní oblasti, jako je HR (nábor, hodnocení zaměstnanců), provoz kritické infrastruktury, vzdělávání nebo biometrická identifikace. Na tyto systémy se vztahují nejpřísnější povinnosti. Pokud řešíte posouzení rizika, kontaktujte nás na office@arws.cz.

2. Jaký je hlavní rozdíl mezi povinnostmi podle GDPR a AI Actu?

Zjednodušeně řečeno, GDPR chrání osobní údaje a práva jednotlivců (transparentnost, účel). AI Act reguluje technologii jako takovou – její bezpečnost, robustnost, kvalitu dat a řízení rizik. Pokud váš detekční systém zpracovává osobní údaje (např. kamera), musíte dodržovat oba předpisy. Pro komplexní audit souladu nám napište na office@arws.cz.

3. Kdo je odpovědný, když se AI „sama naučí“ něco špatného a způsobí škodu?

Nová směrnice o odpovědnosti za vadné výrobky směřuje odpovědnost k výrobci/poskytovateli AI. Ten je odpovědný i za schopnost AI učit se po uvedení na trh. Zásadní bude, jak máte nastavenu smlouvu s dodavatelem a jak jste AI "poučili" vy.

4. Můžu být pokutován podle AI Actu, i když sídlím v USA nebo Asii?

Ano. AI Act má extrateritoriální působnost. Pokud poskytujete AI systém na evropský trh nebo jsou jeho výstupy v EU používány, vztahuje se na vás. Nezáleží na tom, kde máte sídlo. Naše síť ARROWS International řeší tyto přeshraniční případy denně. Napište nám na office@arws.cz.

5. Jaké právní kroky musím udělat PŘED nasazením AI pro detekci vad ve výrobě?

Proveďte GDPR audit (pokud snímá zaměstnance) a vypracujte DPIA/LIA. 2. Proveďte posouzení rizik podle AI Actu. 3. Zrevidujte smlouvu s dodavatelem AI s ohledem na odpovědnost. 4. Transparentně informujte zaměstnance. Pro kompletní právní přípravu projektu nás kontaktujte na office@arws.cz.

6. Naše HR oddělení chce koupit AI nástroj na předvýběr kandidátů. Je to problém?

Ano, je to vysoce riziková oblast. Takový systém bude téměř jistě spadat do kategorie "vysoce rizikových" podle AI Actu. Navíc hrozí obrovské riziko algoritmické diskriminace. Nasazení takového nástroje bez hloubkového právního auditu a nastavení pravidel silně nedoporučujeme. Rádi pro vás provedeme právní audit dodavatele. Napište na office@arws.cz.

Nechcete tenhle problém řešit sami? Advokátní kanceláři ARROWS věří více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference a bude nám ctí pomoci vám při řešení vašeho problému. Poptávka je zdarma.