ANALYS Autonomous Weapons Systems – autonoma vapen är ett ämne som väcker både frågor och farhågor. Många har uppfattningar om hur frågan ska behandlas. Martin Hagström, forskningsledare på FOI, skriver om vikten av att strukturera debatten och en bred analys med fokus på ansvar för användning.
Datorutvecklingen har gjort artificiell intelligens (AI) mer intelligent och maskiner kan göra saker som förr var förbehållet människor. I militära tillämpningar finns stora möjligheter och visionerna är många. En reaktion på framtidsbilder av intelligenta robotar i militär tillämpningar är kampanjen Stop Killer Robots som lanserades 2013 med målet att förbjuda Lethal Autonomous Weapons Systems (LAWS). Kampanjens medlemmar anser att autonoma vapen riskerar att användas i strid mot folkrätten och att de kommer öka de säkerhetspolitiska spänningarna i världen med kapprustning som följd. Förutom de taktiska och militärtekniska argument som driver utvecklingen finns det även förespråkare som framhåller att automatisering och precision bör leda till minskade risker för civila och färre mänskliga felgrepp i militära operationer. Oberoende av inställning till tekniken så behöver alla länder utveckla strategier för användning av teknik med alltmer komplex automation och utreda konsekvenserna för ansvarsfrågor, försvarsekonomi och ledning av militära operationer.
Science fiction ger en vägledning till att förstå delar av debatten och en översikt över de hot (och även möjligheter) som målas upp av de som är motståndare till LAWS. Terminator-filmerna med den artificiella intelligensen Skynet är förstås typexemplet på AI-hotet, men redan 1953 skrev Philip K. Dick boken Second Variety om helt autonoma vapen som hotar hela mänskligheten. Det finns många aktörer i debatten vilken ofta präglas av frågans mångfacetterade karaktär. Folkrättsliga argument blandas med tekniska och militärstrategiska aspekter. Få debattörer har kunskap utanför sitt eget expertområde. Rädslan för robotar som känslolösa och obarmhärtiga mördare återkommer i debattinläggen. Vad som är tillåtet enligt folkrätten beror på den konkreta militära situationen, egenskaperna hos det tekniska systemet och hur det används.
Vad är Lethal Autonomous Weapons Systems?
Det finns många förslag till en definition av LAWS, men ingen som är allmänt accepterad. Att försöka beskriva skillnaden mellan LAWS och dagens autonoma vapensystem, som missiler, är svårt, för att inte säga omöjligt. Att formulera en definition i tekniska termer är sannolikt ogörligt. Ur ett tekniskt perspektiv går det inte att skilja ”autonoma” system från ”automatiska” system. Det finns ingen tydlig gräns mellan vad som uppfattas som en ”automatisk” funktion respektive ”autonomt” system. Istället är det uppfattningen om komplexiteten i ”automatiken” som gör att ett system benämns på ett visst sätt: ”Automatisk” används ofta för enskilda funktioner medan ”autonom” används vid benämningen av en sammansättning av flera ”automatiska” funktioner. Autonoma tekniska system är de som utan direkt påverkan från en operatör kan agera i en ”okänd” omgivning eller hantera ”oförutsedda” händelser. Med oförutsedda händelser avses de händelser som inte är beskrivna i detalj i ett program, men att det finns variationer på förutsättningar som är beskrivna på ett övergripande sätt och utgör en ”modell” av omgivningen. Ett system som agerar utanför sitt giltighetsområde, det vill säga, utanför det område som det är konstruerat för, kommer att uppträda oförutsägbart när det utsätts för verkligt oförutsedda händelser. Ett komplext system kan vara svårt att överblicka, förstå och därmed att använda. Det går inte heller att förbjuda utveckling av AI-teknik. Den utvecklingen pågår och på vilket sätt ska en gräns för tekniken sättas, varför skulle gränsen vara nådd idag, eller är den redan är passerad?
Strukturera debatten
En analys av frågeställningarna kring LAWS kräver att det finns kunskap om flera områden med teknik, folkrätt och militära operationer i centrum, men debatten präglas snarare av bristen på en sådan samlad kunskap. De möjligheter som förespråkarna ser och som motståndarna uppfattar som hot baseras på visioner om en framtida teknisk utveckling som är svår att skilja från science fiction-litteraturen. De hot som målas upp av tekniskt kunniga personer utan militär erfarenhet uppfattas som orealistiska av militära företrädare. Å andra sidan kan militära företrädare se möjligheter som kan uppfattas som orealistiska av de som har en djupare förståelse för teknikens begränsningar. Debatten är inte bara mångfacetterad utan saknar också tydlighet. Delvis beror det på att flera av aktörerna drar nytta av otydligheten och den förvirrade diskussion som följer, men det beror också på att tydlighet kräver kunskap som sträcker sig över många områden, även säkerhetspolitik, filosofi, psykologi och etik.
Ordens betydelse
Ord har stor betydelse och när maskiners egenskaper beskrivs med samma termer som används om människor, så kallade antropomorfiska beskrivningar, skapas lätt föreställningar och förväntningar på maskiners förmågor som inte alltid stämmer överens med verkligheten. Det är vanligt, och ofta praktiskt, att använda ord för mänskliga egenskaper i beskrivningar av avancerade tekniska system. Man talar om maskiner som fattar beslut, resonerar och bedömer. Men maskiner räknar, och beslut och resonemang är resultat av beräkningar som baseras på kvantifierade beskrivningar (modeller) av omvärlden. Debatten om LAWS skulle bli tydligare om antropomorfiska begrepp övergavs till förmån för mer relevanta tekniska beskrivningar av de system som är i fokus.
Vad borde debatten handla om?
Vi behöver strukturera debatten för att kunna prata om framtida komplexa vapensystem. En kärnfråga i debatten är vem som är ansvarig för oväntade eller oönskade följder av en vapeninsats. Är det ”programmeraren” av systemet eller befälhavaren? Kan en användare frånsäga sig ansvaret för effekterna? Ett helautomatiserat vapensystem innehåller programkod som är skriven av hundratals eller tusentals människor under lång tid. Det går inte i efterhand att peka ut en enskild individ som konstruktör av ett visst system. Därför måste det i förväg vara överenskommet om hur systemet förväntas fungera och i vilka situationer det ska kunna användas.
Det är den krigförande användaren av systemet som är ansvarig för att göra en riskbedömning och konsekvensanalys av en vapeninsats, vilket kräver en god förståelse för systemets funktion och effekter. Därför är ansvarsfrågan central. Beslutet om liv och död handlar i militära operationer om beslut om vapeninsats eller våldsverkan och är ett beslut som fattas av en ansvarig befälhavare. Ur ett juridiskt perspektiv ligger ansvaret för vapensystemets effekter hos befälhavaren. Vilka effekter av en vapeninsats som är acceptabla med hänsyn till folkrätt och mänskliga rättigheter beror på fler saker än på vapnets funktion. Ansvaret för att en insats följer internationella (och nationella) lagar åligger de stridande parterna och ligger inte i tekniken. När komplexiteten i systemen ökar krävs det mer av användarna för att kunna förstå och förutse konsekvenserna av användningen. En diskussion kring krav på förståelse för funktion, tillförlitlighet, effekt och konsekvenser av vapenanvändning kommer klargöra vilken teknik och vilken användning som är förenlig med internationell rätt.
Martin Hagström
Forskningsledare inom autonoma system vid avdelningen för Försvars- och säkerhetssystem, FOI
Vill du skriva en text där du kommenterar, diskuterar eller kritiserar detta inlägg? Kontakta ämnesansvarig redaktör.
Ansvarig redaktör: Zarah Abrahamsson, redaktör Folkrätt.
Lämna ett svar