Wizja świata, w którym decyzje o życiu i śmierci pewnego dnia będą podejmowane przez maszyny nieznajdujące się pod bezpośrednią kontrolą ludzi musi być rozważana poważnie. W ostatnich kilku latach obserwujemy gwałtowny rozwój w dziedzinie technologii dronów, których poziom autonomii ciągle wzrasta. Chociaż, z tego co wiemy, żadne zatwierdzone systemy autonomicznych dronów nie osiągnęły zdolności operacyjnej, technologia ta jest obecnie testowana i rozwijana. Niektórzy widzą nowe szanse i potencjalne korzyści wynikające ze stosowania autonomicznych dronów. Inni postrzegają rozwój i stosowanie takiej technologii jako z zasady niemoralne. Wpływowi ludzie, tacy jak Stephen Hawking, Elon Musk i Steve Wozniak pilnie apelowali już o zakaz prowadzenia działań zbrojnych z użyciem autonomicznej broni lub sztucznej inteligencji. Zatem, z czym mamy do czynienia i jakie są główne kwestie prawne oraz etyczne?
Przyszłością są autonomiczne drony
Jak na razie nie ma uzgodnionej lub prawnie obowiązującej definicji “autonomicznych dronów”. Przemysł powszechnie posługuje się pojęciem „autonomii”, ponieważ sprawia ono wrażenie, że mamy do czynienia z bardzo nowoczesną i zaawansowaną technologią. Jednak w kilku państwach obowiązuje bardziej precyzyjna definicja tego, co powinno być określane jako autonomiczne drony. Na przykład Wielka Brytania opisuje je jako „… zdolne do rozumienia zamysłów i wskazówek na wyższym poziomie” (brytyjskie Ministerstwo Obrony, The UK Approach to Unmanned Aircraft Systems, 2011). Ogólnie, większość zwierzchników wojska i lotnictwa nazywa bezzałogowce „zdalnie sterowanymi pojazdami lotniczymi”, aby podkreślić, że latają one pod bezpośrednim nadzorem ludzi zatrudnionych jako operatorzy.
“BAT” firmy Northrop Grumman (dawniej ‘KillerBee’ firmy Raytheon) jest dronem średniego pułapu o wydłużonym zasięgu lotu, wyposażonym w różnorodne czujniki i ładunki, prawdopodobnie zdolnym przynajmniej do walki elektronicznej. (Użyczone przez Northrop Grumman)
Większość ludzi prawdopodobnie byłaby skłonna rozumieć „autonomiczne drony”, jako "mądrą technologię", na przykład drony, które mogą działać w oparciu o samodzielny wybór jednej z opcji (co w terminologii wojskowej jest określane jako „inicjatywa systemu” lub „pełna autonomia”). Drony takie są programowane tak, aby wyposażyć je w dużą liczbą alternatywnych reakcji na różne wyzwania, jakie mogą napotkać podczas realizowania misji. To nie jest science fiction – technologia ta jest już w dużej mierze stworzona, choć – według naszej wiedzy - żadne zatwierdzone systemy autonomicznych dronów nie osiągnęły jeszcze zdolności operacyjnej. Czynnikiem ograniczającym nie jest technologia, ale raczej wola polityczna, aby stworzyć i przyznać się do posiadania takiej politycznie „wrażliwej” technologii, która pozwoliłaby śmiercionośnym maszynom na działanie bez bezpośredniego nadzoru ludzi.
Jednym z największych wyzwań dla rozwoju i zatwierdzania pojazdów lotniczych wyposażonych w taką technologię jest to, iż niezwykle trudno jest zbudować zadowalający system autoryzacji, który zagwarantowałby, że technologia ta jest bezpieczna i działa tak, jak chcieliby tego ludzie. W praktyce, takie „mądre” drony wymagałyby programowania z uwzględnieniem niewiarygodnej liczby kombinacji alternatywnych przebiegów działania, co uniemożliwiłoby ich weryfikację i testowanie na poziomie, jaki stosujemy wobec załogowych pojazdów lotniczych. Są także tacy, którzy pod pojęciem autonomii rozumieją „sztuczną inteligencję” – systemy, które uczą się, a nawet samodzielnie opracowują możliwy przebieg działania w obliczu nowych wyzwań. Nie jest nam wiadome, że zbliżamy się do przełomu w rozwoju takiej technologii, ale wielu obawia się, że być może właśnie tak jest.
Autonomiczne drony – to znaczy drony programowane tak, że wyposażono je w algorytmy dla niezliczonych przebiegów działania określonych przez ludzi, aby mogły one sprostać nowym, pojawiającym się wyzwaniom – są już obecnie testowane przez wiele cywilnych uczelni i wojskowych instytucji badawczych. Obserwujemy testowanie „chmar dronów” (dronów, które naśladują i przejmują zadania od innych dronów), oczywiście całkowicie zależnych od autonomicznego przetwarzania danych. Jesteśmy świadkami testowania autonomicznych dronów, które współdziałają z załogowymi pojazdami lotniczymi, w całym spektrum od tego, co amerykańskie siły powietrzne nazywają (bezzałogowym) samolotem „Loyal Wingman”, aż po system Broad Area Maritime Surveillance (BAMS), który pomyślnie przeszedł testy, wykorzystujący samoloty patrolujące morze typu Poseidon p-8 oraz bezzałogowce TRITON. Widzimy także dalszy rozwój w kierunku oddzielenia systemów bezzałogowych od załogowych pojazdów lotniczych tak, aby mogły one działać niezależnie lub jako rozszerzenie „samolotu-matki”, jak na przykład ostatnio testowane nanodrony PERDIX, których setka została spuszczona z „samolotu-matki” F-18. Takie drony z konieczności działałyby w dużym stopniu autonomicznie. Liczne postępy i aspiracje są dobrze opisane, na przykład, w amerykańskim dokumencie planowania USAF RPA Vector - Vision and Enabling Concepts 2013-2038. Inna dokumentacja, a nawet materiały wideo ukazujące takie badania są szeroko dostępne. Wizja autonomicznych technologii – dronów lotniczych, pojazdów podwodnych i innych śmiercionośnych systemów uzbrojenia - z pewnością stwarza nowe szanse dla sił zbrojnych.
“PERDIX” jest systemem chmary mikrodronów stworzonym dla Departamentu Obrony USA /Naval Air Systems Command we współpracy z MIT Lincoln Laboratory. (WarLeaks)
Materiał wideo pokazuje próbne uruchomienie chmary 100 dronów z amerykańskiego „samolotu-matki” F-18.
W odniesieniu do prowadzenia pojazdów powietrznych nauczyliśmy się, że potrzebne są długie okresy przygotowań poświęcone na szkolenie pilotów i operatorów. Jedna z największych zmian, jakie przyniesie rozwój dronów wojskowych polega na tym, że siły zbrojne w (niedalekiej) przyszłości mogłyby osiągać wspaniałą zdolność bojową w znacznie krótszym czasie niż wcześniej. Ważne, żeby zauważyć – i wielu to zrobiło – że tworzenie infrastruktury i szkolenie obsługi naziemnej w zakresie operowania dronami nie jest ani tańsze, ani łatwiejsze niż kształcenie załóg pojazdów lotniczych. Jednak, gdy już się ją stworzy, obsługa dronów i centrów operacyjnych mogłaby operować bardzo wieloma dronami. Podobnie, tradycyjny załogowy pojazd lotniczy znajdowałby się w centrum miejscowego systemu bojowego lub wywiadowczego rozbudowanego o drony służące, na przykład, jako wsparcie w zagłuszaniu, jako platformy dostarczające broń lub systemy wieloczujnikowe. Wyjście poza przeszłe ograniczenia typu: jeden pilot – jeden samolot lub jedna załoga – jeden dron, do sytuacji typu: jedna załoga obsługuje bardzo wiele dronów, byłoby po prostu przełomowe.
Wspomniane perspektywy, jakie otwierają się dla nowych typów wysoce zaawansowanych systemów uzbrojenia – a także obawy, jakie one wzbudzają – są podstawą badań, które przeprowadziliśmy na temat autonomicznych dronów i systemów uzbrojenia. Niemal niemożliwe jest oszacowanie czasu, kiedy te technologie staną się powszechne – będzie to zależeć od sytuacji i potrzeb państw. Jednak technologie stają się dostępne i coraz bardziej zaawansowane. Uważamy, że trudne dyskusje na temat wyzwań o charakterze prawnym i etycznym powinny być przeprowadzone bez niepotrzebnej zwłoki.
Perspektywy prawne
- Ogólne zasady obowiązują, ale to nie jest takie proste
Gdyby autonomiczne drony zostały kiedykolwiek wykorzystane podczas konfliktu zbrojnego, podlegałyby one ogólnym zasadom prawa konfliktów zbrojnych. Pod tym względem autonomicznych dronów nie należy traktować inaczej, niż innych rodzajów broni, systemów lub platform uzbrojenia. Podobnie, jak w przypadku wszelkich innych „środków prowadzenia działań zbrojnych”, autonomiczne drony muszą być wymierzone wyłącznie w cele dozwolone przez prawo (obiekty wojskowe i żołnierzy) i niedopuszczalne jest, by ataki powodowały możliwe do przewidzenia nadmierne straty uboczne.
Bezzałogowy samolot bojowy (UCAS) typu X-47B stworzony przez Northrop Grumman we współpracy z DARPA jest powszechnie określany, jako „półautonomiczny”. (Użyczone przez Northrop Grumman)
Pewne szczególne cechy autonomicznych dronów mogą jednak znacząco utrudniać stosowanie prawa konfliktów zbrojnych. Niezależnie od ich ostatecznej definicji, autonomicznie drony byłyby zdolne w pewnym stopniu do samodzielnego działania w czasie i przestrzeni. Ten (potencjalny) brak ingerowania ludzi w uzbrojenie lub systemy uzbrojenia podczas ataków wywołuje pytanie, kiedy i gdzie prawo wymaga obecności ludzi w procesie podejmowania decyzji. Zanim sformułujemy choćby prowizoryczne odpowiedzi na to pytanie, musimy uwypuklić niektóre aspekty wymogów prawnych bezwzględnie obowiązujących dowódców podczas podejmowania decyzji o atakach.
- Prawo wymaga, aby racjonalny dowódca działał w dobrej wierze
Kilka obowiązków prawnych, mających zastosowanie podczas konfliktu zbrojnego, ma w zamyśle odpowiadać realiom warunków bojowych. Niektóre z tych zasad prawnych zawierają elastyczne sformułowania dające dowódcom wojskowym pewien margines decyzji przy interpretowaniu i decydowaniu, na przykład, o tym, co daje „przewagę zbrojną” oraz o znaczeniu tej przewagi dla całego ataku. Poza tym, muszą oni wyważyć znaczenie tej przewagi w porównaniu do spodziewanych strat ubocznych (zasada proporcjonalności).
Ten margines decyzji jest równoważony oczekiwaniem, że dowódca wojskowy działa w dobrej wierze oraz ocenia przewagę zbrojną (a także straty uboczne) w oparciu o informacje w rozsądnych granicach dostępne dla niego lub dla niej w danym czasie. Podczas podejmowania decyzji o atakach, dowódcy wojskowi zaangażowani w planowanie i przeprowadzenie ataku muszą podjąć wszelkie „realne środki ostrożności”, aby „zweryfikować”, czy atak nie jest skierowany przeciwko osobie lub obiektowi objętemu ochroną oraz, czy zgodnie z oczekiwaniami, atak nie naruszy zasady proporcjonalności. Jak te uznaniowe kryteria stosują się do autonomicznych dronów?
- Jak wielka ingerencja człowieka jest niezbędna?
Autonomiczne drony nie są zdolne do rozumowania w ludzkim sensie. Nie posiadają świadomości ludzkiej. Jak dotąd autonomiczne drony (lub żaden inny autonomiczny system) nie mogą zastąpić ludzi w obliczu prawa. Przedstawiony powyżej wymóg zdaje się zakładać, że człowiek będzie informowany i władny w procesie decyzyjnym. Na pewnym etapie podczas podejmowania decyzji człowiek musi zdecydować o tym, co należy atakować i jak ważny jest cel. Kluczowe pytanie brzmi, jak rozbudowany ma być ten cykl podejmowania decyzji.
Niniejszy artykuł jest oparty na badaniach, których owocem jest książka wydana w języku norweskim w 2016 roku
“Når dronene våkner: Autonome våpensystemer og robotisering av krig” (Oslo; CappelenDamm, 2016)
Oczywiście ludzie pełniący funkcję operatorów mogą być wspomagani przez autonomiczne maszyny (a także “autonomiczne” zwierzęta) ograniczone w czasie i przestrzeni – tylko, gdzie potrzebne są ograniczenia? Podobnie jak w przypadku wszystkich kwestii prawnych dotyczących działań zbrojnych, odpowiedź musi być uzależniona od okoliczności. Jeżeli środowisko jest gęsto zaludnione (jak obszary miejskie), ograniczenia oczywiście muszą być bardziej ostre niż w obszarach mniej zaludnionych (jak otwarte obszary morskie lub środowisko podwodne). Tu, jak wszędzie, diabeł tkwi w szczegółach: w niektórych okolicznościach autonomiczne systemy uzbrojenia mogą (zgodnie z prawem) być „zostawione same sobie”, aby działały przez wiele godzin lub dni, a w innych warunkach całą autonomię trzeba wyłączyć i polegać na ludzkim osądzie – właściwym lub błędnym.
Od prawa do etyki
Musimy także uznać znaczenie etyki w debatach dotyczących autonomicznych dronów. Przestrzeganie prawa jest kluczowe w tworzeniu wszelkich strategii wojskowych i politycznych, w tym związanych z rozwojem i zastosowaniem autonomicznych dronów. Chociaż prawo i etyka rzadko się pokrywają, ważne kwestie etyczne mogą pełnić istotną funkcję, zwłaszcza w odniesieniu do nowo powstających technologii wojskowych – funkcję, którą w niedostateczny sposób spełnia prawo. Innymi słowy, refleksja etyczna uzupełnia prawo o wskazania normatywne odnoszące się do tych „szarych stref”. Może także być ważna dla podkreślania, kiedy zobowiązania etyczne powinny wziąć gorę nad obowiązkami prawnymi w imię interesów związanych z zarządzaniem politycznym.
- Etyczna perspektywa w odniesieniu do autonomicznych dronów
Powierzenie decyzji dotyczących życia i śmierci podmiotom innym niż ludzie, to zastrzeżenie wielokrotnie powtarzane przez tych, którzy sprzeciwiają się autonomicznym systemom uzbrojenia. Główne zastrzeżenie brzmi, iż zezwolenie maszynom na „decydowanie” o zabijaniu ludzi podważa wartość ludzkiego życia. W tym ujęciu życie ludzkie jest tak cenne, że niewłaściwe jest, aby maszyna decydowała o jego zakończeniu – innymi słowy, tworzenie i stosowanie autonomicznych dronów ma w sobie coś z natury niemoralnego.
Trudno jest dowodzić, że autonomiczne drony mogłyby teoretycznie spełniać kryterium ius in bello (prawo w wojnie) pozwalające rozróżniać działania zbrojne zgodnie z tradycją „wojny sprawiedliwej”. Moralne sądy dotyczące tego, kto prawomocnie może być celem ataku podejmowane w warunkach bojowych są trudne nawet dla normalnych żołnierzy. Obawa polega na tym, że zezwolenie autonomicznym dronom na dokonywanie takich rozróżnień najprawdopodobniej przyniosłoby ofiary cywilne oraz niemożliwe do zaakceptowania straty uboczne. Nawet jeśli taki system uzbrojenia byłby w stanie odróżnić żołnierzy od osób niezaangażowanych w działania zbrojne, nadal jest wątpliwe, czy autonomiczny dron mógłby ocenić proporcjonalność ataku – to jest, czy atak spowodowałby niepotrzebne cierpienie. Jednak, wykraczając poza niepewność dotyczącą tego, czy w przyszłości autonomiczne drony zyskają zdolność do takiego rozróżniania, można także argumentować, że – jeżeli takie systemy uzbrojenia nie byłyby w stanie działać zgodnie z wymogami ius in bello – mało prawdopodobne jest, żeby zostały one rozmieszczone, zwłaszcza w warunkach operacyjnych, gdzie istnieje wysokie ryzyko spowodowania nadmiernych szkód dla ludności cywilnej.
Z drugiej strony można także argumentować, że użycie autonomicznych dronów jest nie tylko dopuszczalne z moralnego punktu widzenia, ale nawet jest moralnie bardziej wskazane niż wykorzystanie normalnych żołnierzy. Autonomiczne drony byłyby w stanie przetwarzać więcej przychodzących informacji sensorycznych niż normalni żołnierze i mogłyby dzięki temu podejmować decyzje bardziej oparte na wiedzy. Poza tym, jako że osąd dokonywany przez maszyny nie byłby zakłócony emocjami takimi jak strach i wściekłość, mogłoby to teoretycznie redukować ryzyko zbrodni wojennych, które mogłyby być popełnione przez ludzi.
Zastosowanie autonomicznych dronów może także poprawić pewne aspekty misji humanitarnych z korzyścią dla osób cywilnych, które otrzymują pomoc, jednocześnie ograniczając zagrożenie dla żołnierzy. Zastosowanie autonomicznych dronów do przeszukiwania niebezpiecznych obszarów oraz do wykonywania zadań obciążonych wysokim ryzykiem, takich jak usuwanie ładunków wybuchowych lub oczyszczanie i sprawdzanie bezpieczeństwa domu, wyeliminowałoby zagrożenia dla normalnych żołnierzy, którzy mogliby zostać ranni lub zabici.
“TRITON” – obecnie tworzony przez Northrop Grumman dla amerykańskiej floty wojennej, jako część programu Broad Area Maritime Surveillance (BAMS) - to zaawansowany system wykorzystywany w misjach wywiadu, obserwacji i rozpoznania (ISR), który może być sterowany lub może działać autonomicznie
(Użyczone przez Northrop Grumman)
Z drugiej strony, takie osiągnięcia mogą mieć implikacje dla kryterium ius ad bellum (prawa do wojny) zgodnie z tradycją „wojny sprawiedliwej”. Ograniczenie zagrożenia dla żołnierzy poprzez całkowite usunięcie ich z pola bitwy uczyniłoby wojnę zbyt „łatwą”, redukując ją do taniego przedsięwzięcia technologicznego, które nie wymaga już zaangażowania opinii publicznej lub moralnej.
Na czym stoimy – i dokąd powinniśmy zmierzać?
Trudno jest przewidywać przyszłość, ale technologiczny potencjał autonomicznych dronów jest już obecnie testowany i rozwijany. To, w jakim stopniu staną się one ważną technologią wojskową będzie zależało od przyszłych potrzeb społeczeństw, co z kolei będzie determinowane przez przyszłą sytuację bezpieczeństwa. Lepiej byłoby wypracować prawne i etyczne ramy zanim znajdziemy się w takiej sytuacji.
Bez wątpienia autonomiczne drony stwarzają ważne problemy dla sądownictwa i etyki związane z odpowiedzialnością za niezamierzone spowodowanie szkód. Technologie te stwarzają pewne luki w systemie odpowiedzialności moralnej. Gdy autonomiczne systemy wojskowe zostaną rozmieszczone, mniej jasne będzie, jak przydzielać odpowiedzialność. Takie potencjalne luki w zakresie odpowiedzialności muszą być właściwie przezwyciężane dzięki rozwiązaniom technicznym i regulacjom prawnym. Zatem, NATO i jego członkowie powinni angażować się w debaty międzynarodowe dotyczące tych zagadnień. Jednocześnie ewolucja technologiczna będzie postępować i autonomiczne drony – niezależnie od stopnia zaawansowania ich konstrukcji – pozostaną produktem, narzędziem w rękach ludzi. Nasza fundamentalna odpowiedzialność za wojny i sposób ich prowadzenia nigdy nie może być „zlecona na zewnątrz”, a już w pewnością nie może być powierzona maszynom.