Autopilot a dilema: koho „zabít“ – řidiče, nebo chodce?

Autonomní automobily už přestávají být fantastičnem: na silnicích se objevují vozy s režimem autopilota, které dokážou jet bez zásahu člověka. Motoristé se zatím více zajímají o tradiční parametry – rychlost, výkon, komfort. Se zaujetím například porovnávají německé supersedany BMW M5 F90 a Mercedes-AMG E63 S podle jejich vlastností. Jenže s nástupem autopilota se do popředí dostává úplně jiné téma – etika a bezpečnost. Co má auto dělat, když se nehodě nelze vyhnout?

Už to není teoretická otázka z učebnic, ale skutečný problém na silnici. Představme si situaci: bezpilotní auto jede vysokou rychlostí a najednou se před ním na přechodu objeví skupina lidí. Na brzdění je pozdě. Jsou dvě možnosti vývoje: strhnout řízení stranou a narazit do zdi (obětovat řidiče) nebo pokračovat a srazit chodce. Algoritmus umělé inteligence je naprogramován na určité rozhodnutí – a na tomto rozhodnutí závisí životy.

Filosofové takovou tragickou volbu nazývají „problémem tramvaje“. Dříve šlo čistě o myšlenkový experiment: zda přesměrovat neovladatelnou tramvaj na jinou kolej, abyste zachránili pět lidí za cenu života jednoho. Teď podobné dilema stojí před umělou inteligencí na silnici – a její rozhodnutí budou mít skutečné následky.

• Zachránit pasažéra. Pokračovat v jízdě a chránit řidiče i přes riziko pro skupinu chodců.
• Zachránit chodce. Nasměrovat auto do překážky nebo na krajnici a obětovat život člověka uvnitř vozu.
• Vědomě nevolit. Vyhnout se speciálnímu algoritmu volby – tedy nastavit minimalizaci škod bez cílení, a fakticky nechat události proběhnout „samovolně“.

Někdo může namítnout, že umělá inteligence bude natolik chytrá, že vždy najde třetí, bezpečnou cestu ven. To je ale spíše mýtus. Ve skutečnosti ani nejmodernější senzory a software nedokážou zrušit fyzikální zákony a vyloučit všechna rizika. Kritické situace se stejně budou stávat. Dříve či později se tedy auto může ocitnout před volbou, koho uchránit za cenu života jiného.

Lidstvo dodnes nenašlo jedinou správnou odpověď na toto dilema. Sociologické výzkumy však nabízejí zajímavý pohled. Průzkumy ukazují: většina respondentů souhlasí, že v krajní situaci by autonomní auto mělo obětovat pasažéra, aby zachránilo skupinu lidí. Ti samí lidé ale přiznávají, že by nechtěli jezdit v autě, které by je v nebezpečí vědomě obětovalo kvůli cizím životům. Tento paradox se může stát překážkou pro zavádění bezpilotních vozů na silnice.

Uveďme názorný výsledek jednoho z průzkumů veřejného mínění k „dilematu autopilota“:

Jak vidíme, společnost zároveň chce, aby robot-řidiči zachraňovali co nejvíce lidí, a přitom nechce riskovat sama sebe. Takový rozpor mezi morálními a osobními zájmy vytváří dilema pro výrobce i regulátory. Ať algoritmus naprogramujete jakkoli – rozhodnutí bude kontroverzní a může vyvolat pobouření.

Kdo půjde do vězení, když bezpilotní auto způsobí nehodu?

Pokud auto v režimu autopilota přece jen způsobí nehodu s fatálními následky – koho potrestat? Tato otázka není o nic méně složitá než morální volba. První varovné signály už zazněly. Například v roce 2018 testovací autonomní vůz Uber srazil chodce k smrti; známé jsou i další smrtelné nehody s Teslou na autopilota. Podobné případy, kdy řídí počítač, zpochybňují tradiční princip, podle něhož veškerá vina padá na řidiče.

V situaci s „robot-řidičem“ jsou možné různé přístupy k určení viníka. Podívejme se na hlavní scénáře:

1. Majitel (pasažér) vozidla. Logika: byl to právě on, kdo seděl v autě a zapnul režim autopilota. Možná měl člověk jízdu kontrolovat a zasáhnout – a nese tedy díl viny za nečinnost.
2. Vývojář programu (algoritmu). Vždyť to programátoři nastavili model chování, který vedl k tragédii. Měli by inženýři nést trestní odpovědnost za důsledky rozhodnutí svého kódu?
3. Výrobce automobilu. Firma, která bezpilotní vůz vyrobila, mohla nepředvídat všechna rizika nebo šetřit na senzorech. Odpovídat může výrobce (v osobě vedení) jako právnická osoba – například prostřednictvím žalob a pokut.

Zatím neexistuje jasná právní norma, která by to řešila. Ve většině zemí, kde se autonomní auta testují, se odpovědnost přičítá člověku za volantem. Současné systémy autopilota (úroveň 2–3) totiž vyžadují, aby řidič zůstával pozorný. Tak například v případech s Teslou soudy většinou uznávají vinným řidiče, který přecenil schopnosti autopilota a nezasáhl, když to bylo potřeba.

S nástupem plně bezpilotních aut (úroveň 4–5) však logicky vzniká potřeba přesunout vinu na tvůrce technologie. V Německu národní Etická komise pro automatizované řízení už v roce 2017 rozhodla: pokud člověk auto už nekontroluje, odpovědnost za jeho činy nenese pasažér, ale výrobce nebo provozovatel systému. Někteří výrobci jsou dokonce připraveni takovou odpovědnost přijmout – například Volvo veřejně slíbilo převzít veškerou vinu ve chvíli, kdy jeho vozy budou jezdit v autonomním režimu.

Přenesení viny na společnost má své plusy i mínusy. Na jednu stranu budou majitelé autopilotu ochotněji důvěřovat, pokud budou vědět, že z nich v případě nehody neudělají „obětního beránka“. Na druhou stranu se výrobci obávají převzít veškerou vinu, protože jim hrozí mnohamilionové žaloby a dokonce i trestní odpovědnost jejich představitelů. Je možné, že vzniknou speciální pojistné produkty nebo právní omezení, aby se tato rizika vyvážila.

Navzdory všem nejistotám se technologie autonomního řízení vyvíjejí. Nové modely dostávají stále chytřejší „mozky“. Například elektrický crossover Volkswagen ID.4 je vybaven systémem Travel Assist pro poloautonomní jízdu a řidiči tohoto modelu mohou zvýšit komfort i praktičnost instalací různých příslušenství pro Volkswagen ID.4. Plně autonomní řízení (úroveň 5) zatím zůstává záležitostí budoucnosti. A proto budou debaty o morálních algoritmech a právní odpovědnosti pokračovat – společnost potřebuje čas, aby dospěla ke shodě.

Morální dilema autopilota tedy zatím nemá jasné řešení. Programovat auta tak, aby zachraňovala většinu za cenu pasažéra, nebo aby za každých okolností chránila svého řidiče? Koho trestat za chyby umělé inteligence – inženýry, majitele, nebo vlastně nikoho? Nad těmito otázkami přemýšlejí filosofové, právníci i samotní výrobci. Možná už brzy bude nutné přehodnotit zavedené principy etiky a odpovědnosti na silnicích. Protože když řídí počítač, získávají rozhodnutí i vina zcela nový význam – takový, s nímž se lidstvo teprve musí naučit žít.