Schieten

Een kleine drone zoemt rond het hoofd van de spreker en landt op zijn uitgestrekte hand. ‘Deze drone kan gezichten herkennen en reageert veel sneller dan een mens’, zegt hij liefkozend. Dan gooit hij de drone de lucht in. Die vliegt af op een soort paspop aan de zijkant van het podium en raakt de pop – poef! – tussen de ogen. Gejoel en applaus uit het publiek. Eerder had de presentator al uitgelegd dat de drone is toegerust met drie gram explosieven, ‘genoeg om de schedel binnen te dringen en de inhoud te vernietigen’.

Van die klinische manier van spreken keek ik niet op; die past prima bij de manier van praten van de wapenindustrie over slachtoffers (‘doelwitten’). Vreemder vond ik de achteloze manier waarop de presentator sprak over de good guys en de bad guys waartussen de drone feilloos onderscheid zou weten te maken. Zo’n drone zou natuurlijk alleen maar bad guys uitschakelen, verzekerde hij. En het publiek maar juichen!

Al snel blijkt dit filmpje (op youtube te vinden onder Slaughterbots) promotiemateriaal van de actiegroep Stop Autonomous Weapons. Het vervolg laat zich raden: bad guys krijgen de drones in handen en schakelen gericht mensen uit die hen niet bevallen. Tot slot komt een geruststellend suf ogende Berkeley-professor in de kunstmatige intelligentie vertellen dat dit allemaal staat te gebeuren als wij niet snel ‘iets doen’.

Onze eigen Nationale Politie heeft een ferme eerste stap genomen richting het doemscenario van de actiegroep door volop te experimenteren met gezichtsherkenningssoftware. Het werkt nog niet perfect allemaal, maar in 2017 wist onze politie met die software toch maar mooi 93 verdachten te koppelen aan een persoon in de politiedatabase, meldde NRC Handelsblad vorige week. En de politie heeft hooggespannen verwachtingen, want de software kan met kwalitatief steeds slechtere foto’s toe. Die programma’s leren snel bij omdat wij zo enorm veel kiekjes met elkaar delen op sociale media. De software oefent lustig op onze gezichten. Facebook kan inmiddels behoorlijk goed mensen op een willekeurige foto herkennen. En dat mag, want dat heeft u aangevinkt bij de gebruikersovereenkomsten.

De software zal zich verder ontwikkelen, de databases zullen zwellen, en ook de computers van onze Nationale Politie zullen zomaar een gezicht op straat steeds gemakkelijker kunnen identificeren als dat van verdachte X. Onze politie stuit nog wel op enkele juridische drempels, maar de Chinese regering slaat inmiddels routineus biodata op van iedereen die zij gevaarlijk acht – en ook maar gelijk van hun familieleden, zo meldt de website van Ruben Terlous Door het hart van China. De Chinese autoriteiten pochen dat hun agenten via een soort zonnebril met ingebouwde software inmiddels geregistreerde criminelen uit een willekeurige mensenmassa kunnen pikken. Zouden zij een drone toegerust met een soort verdovend poeder niet verdomd handig vinden bij de arrestatie?, denk ik dan. Chinese autoriteiten zouden vast sussen dat zulke technologie alleen maar ingezet wordt tegen bad guys, maar dat is een schrale geruststelling, want in China ben je crimineel zodra je de harmonie verstoort. En wat harmonie is, bepalen diezelfde autoriteiten.

Enfin. Waar het me nu om gaat, is dat gezichtsherkenningssoftware in drones past in een technologische tendens die de act van het doden losweekt van het lichaam van de dader. Vroeger was doden nog een intieme affaire, je moest een lijfelijk gevecht aangaan met de ander. Nu loopt iemand die over sterke wapens beschikt bar weinig risico om zelf gewond te raken. Daarom is die verdedigingslinie van de National Rifle Association – ‘het zijn mensen die doden, niet wapens’ – ook zo’n onzin. ‘Hij zou met een mes nooit zoveel scholieren pijn hebben kunnen doen!’, merkte de woedende scholiere Emma Gonzalez terecht op over de jongen die onlangs met een semiautomatisch wapen zeventien mensen doodschoot op zijn voormalige middelbare school in Florida. Dankzij dat wapen hoefde de schutter niemand dicht te naderen. Wapentechnologie maakt doden minder gevaarlijk. Voor de dader dan.

Door de lichamelijke krachtmeting uit het doden te halen, valt een belangrijke rem weg. Wat dat betreft zijn drones met gezichtsherkenning slecht nieuws. Daders kunnen besluiten ze in te zetten tegen guys met wie ze op dat moment ruimte noch tijd delen, en zo hun eigen lichamelijkheid totaal buitenspel zetten. Ze hoeven zelfs niet meer te zien wat ze aanrichten.

Minpuntje

In 1977 voerde de PTT de postcode in. Hartstikke handig, want zo kon je automatisch brieven sorteren – mits de afzender voldoende netjes schreef natuurlijk. In die tijd kon niemand bevroeden dat de PTT veertig jaar later geprivatiseerd zou zijn, dat dit private bedrijf de rode brievenbussen daadkrachtig zou vervangen door oranje exemplaren, en dat er sowieso nauwelijks nog brieven worden gesorteerd omdat we elkaar via de fysieke weg eigenlijk alleen nog maar rouwkaarten sturen. Toch is de postcode onverminderd handig. We sorteren er nu mensen mee.

Het makkelijke van een postcode is dat hij fungeert als linking pin tussen databestanden van allerlei slag. Welke vragenlijst je ook invult, welk product je ook bestelt – vrijwel altijd zul je je postcode vermelden. Postcodes voeden inmiddels vrijwel elk algoritme dat patronen in menselijk gedrag vangt. Geef me je postcode, en ik heb gelijk een heel aardige eerste indruk van je; ik kan redelijk voorspellen wat jou vermoedelijk bevalt en waar je bang voor bent.

Op basis van dergelijke algoritmes bepalen bedrijven of het zin heeft om bij jou reclame te maken voor een doosje exclusieve wijn, dan wel een scooter op afbetaling. Op basis van algoritmes weet GroenLinks in welke straten de partij haar vrijwilligers in verkiezingstijd het beste kan laten aanbellen omdat daar de meeste weifelaars wonen. Algoritmes sturen ook het gedrag van de politie: sinds dit jaar surveilleert de Nederlandse politie extra vaak rond huizenblokken waar volgens de software veel inbraken worden verwacht.

Algoritmes maken het beleid van bedrijven, organisaties en overheden ongetwijfeld efficiënter – en dat is (in ieder geval vanuit hen bezien) een dik pluspunt. Maar onschuldig zijn ze niet. Zo hebben voorspellingen de akelige neiging zichzelf te versterken. Als de politie meer gaat surveilleren in bepaalde wijken, zal zij daar ook eerder boeven betrappen. Die hoge pakcijfers worden natuurlijk teruggeploegd in het datasysteem, waardoor die wijk steeds ‘gevaarlijker’ wordt, en niets logischer lijkt dan om daar nog weer extra agenten te posteren. ‘Een giftige cyclus’, noemt de Amerikaanse wiskundige en blogger Cathy O’Neill dat.

Zelf geeft O’Neill het voorbeeld van Amerikaanse rechters, die volgens haar geneigd zijn om een misdadiger een hogere straf te geven als de kans groot wordt geacht dat de betreffende boef nogmaals in de fout zal gaan. Dit is volgens O’Neill typisch zo’n voorspelling die zichzelf waarmaakt. Immers: hoe langer je in de gevangenis zit, des te groter de kans op criminele vriendjes, en des te moeilijker om -eenmaal vrij- weer werk te vinden. Waardoor je sneller terugvalt in de criminaliteit. En ja hoor: daar heb je weer zo’n langgestrafte die opnieuw een misdrijf pleegt! Die voorspellingen van het recidive-model komen uit! Algoritmes zijn weliswaar blind, maar daarmee nog niet neutraal, constateert O’Neill. Vaak zitten er aannames ingebouwd die bestaande sociale ongelijkheden in stand houden of zelfs versterken. En dat is een serieus minpunt, zou ik met haar zeggen.

Mij zit nog een ander minpunt dwars: algoritmes drukken je terug in wie je al was. Voor een algoritme ben je een optelsom van je geschiedenis. Ze zien je verleden, en niet je potentie. Breken met het bekende is natuurlijk berucht moeilijk; we vallen vaak terug in onze routines. En veranderingen zijn eng. Je weet wat je hebt, niet wat je krijgt. Toch kan je als mens het besluit nemen om welbewust te breken met ál wat je van jezelf vindt en weet, en de zaken voortaan over een andere boeg gooien. Filosoof Hannah Arendt noemde dit ‘nataliteit’; in principe kun je jezelf iedere dag opnieuw geboren laten worden. Dankzij dit vermogen zijn mensen soms in staat om het onverwachte waar te maken. Tegen iedere waarschijnlijkheidsrekening in.

Vanouds wordt filosofie vaak gezien als een oefening in sterven. Maar voor Arendt is filosofie juist een oefening in beginnen. De mens is voor haar het dier dat kan breken met het verleden. Een dier dat ‘dit niet!’ kan zeggen, en zichzelf kan herscheppen. Mensen kunnen losbreken uit hun mal, het grote onbestemde tegemoet. Dat kan gevaarlijk zijn, en mislukt natuurlijk vaak. Maar precies daar zit ook onze hoop, onze waardigheid, onze vrijheid. Die hoop, waardigheid en vrijheid gunnen algoritmes ons niet. Zij benaderen ons steevast als de sukkels die we tot nu toe waren.