Categorieën
Publicaties

Data Science, AI en Ethiek

Ontwikkelingen in Data Science en AI dwingen ons opnieuw na te denken over ethiek. Dat stelt Johan Wempe tijdens de Roundtable over DATA SCIENCE EN AI op maandag 27 juni 2022 bij de Koninklijke Groote Club in Amsterdam.

Door de ontwikkelingen in onze samenleving op het gebied van Data Science en artificiële intelligentie zullen we opnieuw moeten nadenken over vraagstukken rond ethiek en de gangbare ethische theorieën. Het wordt mij steeds duidelijker dat we met de gangbare ethische theorieën eigenlijk niet meer in staat zijn actuele maatschappelijke vraagstukken te begrijpen en dat we op nieuwe manieren over normen en waarden moeten nadenken. Met name in de digitalisering zie je dat de grenzen van de traditionele ethiek overschreden worden. Waar faalt die traditionele manier van kijken en tegen welke reële vraagstukken lopen we aan?

De gangbare ethiek steunt op twee uitgangspunten die een toepassing ervan op veel actuele vraagstukken belemmeren. Bij ethiek gaat het om een keuze (een beslissing) tussen goed en fout. Het betreft voorts een beslissing van het individu. Ik denk dat die uitgangspunten niet meer op gaan in het tijdperk van digitalisering. Dankzij de ontwikkelingen rond Data Sciences en artificiële intelligentie worstelen we met het feit dat vanaf de middeleeuwen het individu centraal is komen te staan. Ook het stellen van morele vragen ten aanzien van collectief handelen zoals de verantwoordelijkheid van ondernemingen en het klimaatvraagstuk is lastig met de gangbare ethiek. Kun je hier spreken van een keuze of beslissing? Wanneer neemt een bedrijf een beslissing en wie of wat draagt daar de verantwoordelijkheid voor? Kun je onze levensstijl die ten grondslag ligt aan het klimaatvraagstuk als een keuze zien? Een oplossing kan zijn om ethiek (ook) op systeem- of organisatieniveau te begrijpen.

Descartes die grote invloed heeft gehad op het westerse Verlichtingsdenken. Als we praten over Descartes dan hebben we het over het dualisme en iedereen die iets van filosofie heeft meegekregen kent zijn uitspraak: “Ik denk, dus ik ben”. De (westerse) wereld moest zich ontdoen van dat middeleeuwse denken waarbij eigenlijk alles vanuit een goddelijk perspectief bekeken werd. De wereld was geordend volgens normen en principes die God gemaakt had. Dat betekende dat je je had te schrikken in die orde. Met het humanisme tijdens de renaissance en later met de Verlichting komt de mens centraler te staan en ontstaat een ander wereldbeeld waarbij het individu centraal staat en de natuur begrepen wordt als causaal geordend, waarmee de basis wordt gelegd voor de natuurwetenschappen. Deze mechanisering van het wereldbeeld is het directe gevolg van het dualisme. Volgens Descartes moeten we het lichaam beschouwen als een mechanisch systeem, waarin op een of andere manier toch ook plaats is voor zoiets als een geest. Die wisselwerking tussen de geest in dat lichaam is kort gezegd het dualisme van Descartes. In de visie van Descartes zit de geest in dat lichaam verscholen en stuurt het het gedrag van mensen. De geest als “the man in the machine”. Het lichaam voldoet aan alle natuurwetten, maar er is een spanning tussen dat lichaam en de geest. Maar hoe stuurt de geest nu die “machine” aan? Er een stroming die eigenlijk, de rol van de geest geheel reduceert tot fysieke processen. Dick Swaab heeft het over “wij zijn ons brein”. Hij maakt de geest steeds kleiner en miskent een rol voor de geest anders dan een fysiek proces. Daarmee verdwijnt ook de ethiek. Kun je nog van verantwoordelijkheid spreken wanneer er geen ik is die de machine aanstuurt? Pas in de jaren 60 van de vorige eeuw is men gaan tornen aan de redenering van Descartes. Descartes verwart categorieën.

De naoorlogse normatieve ethiek

Het lijkt erop dat we dat proces van de Verlichting in de afgelopen 50 jaar hebben uit gefaseerd, maar in feite gaat het proces door. Als je bijvoorbeeld leest wat de journalist Henk Hofland begin jaren zeventig schrijft in “Tegels Lichten”, dan zie je dat het individu steeds centraal blijft staan in het denken. Het dan opkomende verzet tegen gezag en autoriteit kun je begrijpen als een proces van emancipatie, maar blijft feitelijk een volgende stap in het project “Verlichting”. De emancipatiebewegingen van de laatste decennia steunen op een heilig geloof in een ‘ik’ dat enerzijds respect verdient en anderzijds handelt en daarmee verantwoordelijkheid draagt. In ons denken proberen we dus vast te houden aan het individu dat sturing geeft aan het gedrag van mensen en daarmee de wereld. Je ziet ook dat het natuurwetenschappelijke model dominanter wordt en dat het beeld dat we van de mens hebben volstrekt gedetermineerd is. Aldus ontstaat een paradox: De mens, zowel lichaam als geest, voldoen aan de wetten van de natuur en zijn daarom volstrekt gedetermineerd Tegelijk behandelen we het individu als autonoom handelend wezen die de werkelijkheid controleert en daarom verantwoordelijk is voor zijn handelen.

Een nieuwe normatieve positie

In de laatste 30 jaar zie je dat er veel filosofen kritiek hebben op dit denken. Met name in het communitarisme, waar Jürgen Habermas en Alasdair MacIntyre exponenten van zijn, zie je dat deze filosofen zich afzetten tegen dit liberale denken. De filosofen die zich afzetten tegen het liberale denken zeggen dat de mens als het ware is ingebed in grote processen waar ze deel van uitmaken. Dat betekent niet dat ze zo ver gaan als Swaab, dat ze zeggen dat we al het menselijke terzijde schuiven, maar wel dat de mens is ingebed in een netwerk van systemen en dat we moeten gaan nadenken hoe die systemen gestuurd worden en hoe hierbinnen verantwoordelijkheid vorm kan krijgen. Deze filosofen zetten zich af tegen het idee van een IK en een ZELF die aan de touwtjes trekt. Nee, het ZELF is ingebed in structuren en is een onlosmakelijk onderdeel hiervan.

Digitale beslissingen

Als we nu kijken naar de digitale wereld en naar artificiële intelligentie dan is het interessante dat die behoefte van het individu om de werkelijkheid te controleren wringt met de werking van die systemen. Een heleboel actoren nemen allerlei beslissingen en we moeten maar vertrouwen op de beslissingen die “het systeem” neemt. Voorbeelden zijn er bij de vleet.

Een faculteit wilde een op algoritmen gebaseerd systeem gebruiken dat scripties van studenten nakijkt. Dat is natuurlijk geweldig want het gaat om veel studenten en het bespaart behoorlijk wat tijd. Zo’n algoritme kijkt bovendien onbevooroordeeld naar de scripties en de student krijgt de beoordeling die past bij de kwaliteit van zijn werk. Toch zag de examencommissie het niet zitten omdat er kennelijk ergens iets begon te wringen.

Bij Unilever en Amazon in de VS werd een AI-systeem ingezet voor personeelsselectie. Unilever gebruikt het systeem tot op de dag van vandaag omdat het een heleboel efficiency oplevert. Amazon stopte ermee omdat er in het zelflerende systeem al gauw een bias voor bepaalde personeelsprofielen ontstond.

Bekend is natuurlijk de “Toeslagen affaire” waaraan problemen met algoritmen mede ten grondslag liggen. Het probleem was niet louter de bias die in het systeem sluipt en ook niet het schier onmogelijke om de fouten op te sporen en te corrigeren. Het grote probleem was dat het vertrouwen in onze overheid op een fundamentele manier was ondergraven.

Michael Sandel, ook een filosoof die behoort tot de communitaristische stroming, geeft een voorbeeld van een hypothetische AI-toepassing die uit alle beschikbare mensen de ideale partner kiest. In eerste instantie zien mensen zo’n App wel zitten. Het bespaart een heleboel emoties en je loopt minder blauwtjes. Toch gaat er ook in dit voorbeeld iets fundamenteels wringen. Dat is het feit dat al die voorbeelden zoeken naar perfectie en dat alleen de beste oplossing goed genoeg is. Het aardige is, zoals in het laatste voorbeeld, dat een relatie juist groeit doordat er botsingen zijn. Het proces doet ertoe en het louter inzetten van artificiële intelligentie om een optimale oplossing te vinden, miskent het belang van het proces.

AI en ethiek

Ik denk dat er bij ethische vragen wanneer we het hebben over artificiële intelligentie sprake is van een paradox. Het liberale denken waarbij de mens centraal staat, met de ambitie steeds betere en optimale beslissingen te nemen, zal ertoe leiden dat de mens zoekraakt in het systeem. Ik denk dat dat komt doordat we de mens nog steeds als bestuurder van het systeem zien En dus als verantwoordelijke voor de effecten van dat systeem. Moeten we wel blijven vasthouden aan de gedachte dat het individu besluit en daarom verantwoordelijkheid is?

Bronnen van verantwoordelijkheid

Misschien houden we te veel vast aan het individu dat rationele keuzes maakt en daarvoor verantwoordelijk gehouden kan worden. Misschien moeten we nadenken over andere manieren waarop verantwoordelijkheid gestalte kan krijgen. Ik denk dat we de gedachte van louter individuele verantwoordelijkheid moeten loslaten en nadenken over verantwoordelijkheden die in het systeem gedeeld worden en georganiseerd worden rond een veelheid aan actoren. En als je op deze manier redeneert moet je, consequent zijn en niet blijven vasthouden aan een individu als bron van verantwoordelijkheid. Je moet morele verantwoordelijkheid (mede) buiten het individu zoeken.

En dat brengt me bij het begrip identiteit, dat echt iets anders is als het begrip IK of ZELF of GEEST. Identiteit is iets dat niet zonder meer aan een individu gekoppeld hoeft te zijn. Identiteit kan ook best betrekking hebben op een gemeenschap, een organisatie of een samenleving. Bij deze benadering van identiteit gaat het niet meer alleen over het individu en de daaraan verbonden verantwoordelijkheid, maar over systemen en samenwerkingsverbanden met een veelheid aan verantwoordelijkheden. We moeten ethiek niet alleen in het individu zoeken, maar vooral ook in de manier waarop ethiek verankerd is in systemen die veelal op artificiële intelligentie zijn gebaseerd.

Normalisering van ons wereldbeeld

We moeten dan niet meer denken in termen van hoe houd ik controle over die artificiële intelligente systemen. Nee, je moet zorgen dat AI-systemen ingebed zijn in een samenhangend complex van activiteiten waarin doelen van zo’n systeem een plekje krijgen. We zullen ook erover na moeten denken hoe we met de slimheid van het systeem om moeten gaan en hoe we die kunt verankeren met onze doelen en ethische waarden, zodat we de risico’s en misschien zelfs ook de existentiële risico’s kunt uitsluiten dan wel verkleinen.

De boodschap waarmee ik begon is, dat we ethiek niet zien als louter een normatief beslissen in termen van goed of fout door natuurlijke personen maar dat we ook (vooral) moeten kijken hoe ethiek verankerd kan zijn (moet zijn) in een systeem.

Dat betekent dat we misschien niet het overzicht en de controle over een systeem hoeven te hebben, maar dat we ethiek (ook) moeten begrijpen op het niveau van systemen waarin menselijk en digitaal handelen beiden hun plek hebben. Dan zullen we ook in staat zijn om in die systemen correctiemechanismen te verankeren en verantwoordelijkheid en identiteit op systeemniveau te begrijpen en niet meer alleen op het niveau van een individu.

De Verlichting heeft ons veel gebracht. Met name door het denkende en handelende individu centraal te stellen en verantwoordelijk te houden. Nu vormt het louter vasthouden aan de fictie van het autonome IK een belemmering om na te denken over verantwoordelijkheid bij de grote uitdagingen van onze tijd. Digitalisering, data science en artificiële intelligentie bieden grote kansen om de wereld van morgen vorm te geven. Laten we ervoor zorgen dat we de systemen die we bouwen steunen op een moreel fundament.

Categorieën
Publicaties

Een governance paradox

“Ondanks de enorme maatschappelijke en technologische veranderingen, is bestuur en governance niet structureel veranderd”

Dat is de stelling waar tijdens de Roundtable van 27 juni 2022 één van de tafels over discussieerde.

Als gevolg van vele technologische veranderingen en in het bijzonder op het gebied van Data Science en AI, is er in grote delen van de samenleving sprake van een transitie. Merkwaardigerwijs lijkt dat niet door te dringen tot de boardroom. De vraag is hoe dat komt en of dat zo zal blijven.

‘Big Data’ is het nieuwe adagium en wordt beschouwd als de brandstof van de 21ste eeuw. De brandstof die de energie levert voor al die kunstmatige intelligentie en robotisering. Data is key geworden. Tot nu toe viel de verantwoordelijkheid voor die brandstof helemaal binnen de competenties van een organisatie. Die bestierde zijn eigen data, of het nu ging om de klantgegevens, de voorraden, of de productiegegevens, het viel allemaal onder eigen beheer en verantwoordelijkheid.

Het zal niet van de ene dag op de andere veranderen, maar er zullen in rap tempo heel veel andersoortige bronnen bijkomen. Bronnen die buiten de organisatie liggen, die hybride vormen hebben en met een moeilijk vast te stellen herkomst. Denk maar aan de immense hoeveelheid data die in onze processen zijn verweven en uit externe bronnen komen zoals satellieten, 5G netwerken, Internet of Things, sociale media en nieuwsmedia. Ze worden door ons en door derden bewerkt en (al dan niet geholpen door slimme algoritmen) weer de wijde wereld in gestuurd.

Degenen die denken dat regie over data nog binnen de eigen organisatie is te vatten, zijn echt niet meer bij de les. Er gaan heel andere eisen gelden voor governance, compliance en transparantie van gegevens. De oude spelregels gaan niet meer werken. Er komen vraagstukken bij, die niet meer vanuit de eigen organisatie zijn op te lossen. Dat zijn vragen over beveiliging, eigenaarschap, oorsprong en transparantie van gegevens. Maar er ontstaan ook nieuwe morele en ethische dilemma’s die de grenzen van de organisatie overstijgen. De sociaal maatschappelijke gevolgen zijn nog moeilijk te overzien. Ethische vragen gaan verder dan de identiteit van een individu, of van een organisatie en zelfs verder dan de identiteit van regio’s en van culturen. Willen en kunnen we daar invloed op hebben?

Een boeiende vraag is ook of data, deels gaat verschuiven naar publieke infrastructuur. Het lijkt er wel op. En als dat zo is, hoe gaat de eigen organisatie daar dan mee om?

Laten we, eerst eens kijken naar veranderingen op het gebied van governance in algemene zin. Dat lijkt ons essentieel, om iets zinnigs te kunnen zeggen over de transitie naar een nieuwe vorm van Governance.

Ons denken is vanaf de eerste industriële revolutie gericht op het efficiënt inrichten en beheren van processen. We denken in lineaire processen. Hoe kom ik zo goedkoop mogelijk van A naar B. Hoe optimaliseer ik productieprocessen om zo goed mogelijk en zo goedkoop mogelijk een product of een dienst te leveren. Een fabrieksmatige organisatie zoals die door Henry Ford werd geperfectioneerd en door Charly Chaplin aan de kaak gesteld.

Ook in de derde industriële revolutie, doelend op de opkomst van automatisering sinds de zeventiger jaren, is er niets veranderd in dat lineaire denken.

Het nieuwe tijdperk, dat van kunstmatige intelligentie, robotisering, big-data en algoritmen wordt wel de vierde industriële revolutie genoemd. Een volstrekt verkeerde term omdat het suggereert dat we het lineaire denken ongestraft kunnen voortzetten. Ons denken over governance wordt bepaald door oud denken over management van lineaire processen en dan ook nog binnen de vertrouwde eigen muren. Het doet denken aan de inmiddels al bijna 30 jaar oude advertentie van BSO over hiërarchische besturing.  We kunnen niet meer volstaan met het ‘managen van de keten’ met al die besturingsmethoden die een erfenis zijn van de industriële revolutie(-s). De wereld wordt complexer en we willen toch aan het stuur blijven zitten. Wat doen we met die paradox?

Ja, makkelijk praten, maar wat dan wel? Gaan die nieuwe technologieën zelf ons de oplossing bieden? Gaan we governance automatiseren door afspraken in een blockchain op te slaan? Komen er standaards en ISO-normen voor AI en voor algoritmes? Gaan de boardrooms en rvc’s hun kennisachterstand inhalen?

Het onderstaande denkraam kan ons misschien prikkelen na te denken over governance in een veranderende wereld. Daarin hebben we de mate van op verandering gerichte oriëntatie afgezet tegen flexibiliteit van het besturingsmodel.

Screenshot
  1. Het kwadrant linksboven slaat op een stabiele wereld die op een proactieve manier hiërarchisch valt te besturen.
  2. In het tweede kwadrant linksonder begint de hiërarchische aansturing te schuren omdat de omgeving verandert. Management komt in een defensieve modus.
  3. In het derde kwadrant rechtsonder gaat de omgeving veerkracht tonen en eist andere aansturing, veelal gebaseerd op samenwerking.
  4. In het vierde kwadrant is continu veranderen de status-quo geworden. De maatschappij heeft leren omgaan met complexiteit.

Wat deze matrix zichtbaar maakt, is dat bestuursstructuren bijna per definitie altijd achterlopen op verandering. We moeten meer leren van de natuur, omdat de natuur altijd in de rechterbovenhoek staat. De natuur is complex en altijd in collaboratieve modus. Misschien moeten we gaan kijken bij de mieren en proberen te herontdekken hoe governance eruit zou kunnen zien in een wereld, die van nature complex is.

Categorieën
Publicaties

AI en existentieel risico

Tien procent kans op uitsterven door AI de komende 100 jaar!

“Er is een kans van tien procent dat in de komende honderd jaar de toekomst van de mensheid in gevaar komt door toedoen van kunstmatige intelligentie”. Dat is het bericht van Otto Barten op onze Triple-E sessie over Data Science en AI. Otto is oprichter van het Existential Risk Observatory. Een Observatory dat actief is om het bewustzijn van existentiële risico’s te vergroten.

Otto, met een achtergrond als natuurkundige in duurzame energie en de energietransitie, leert ons over de belangrijkste existentiële risico’s die Toby Ord in een grafiek heeft gezet.  Toby Ord is een filosoof en informaticus van de werkgroep in existentiële risico’s van Oxford University. Zij hebben geprobeerd de risico’s voor de komende honderd jaar in te schatten en daar percentages aan te koppelen. De zaal is stil. Op één persoon na die een protesterend geluid laat horen: ‘een risico van 10% is best veel’. ‘Ja’, zegt Otto, ‘dat is best veel. Maar los van de absolute percentages stelt deze aanpak je wel in staat om minder erge risico’s, tenminste op het existentieel vlak, te scheiden’.

Otto gaat langs de risico’s. AI springt er met kop en schouders bovenuit. Verder zijn er meer risico’s die met technologie te maken hebben. Een mens-gemaakte pandemie voortkomend uit bio-technologie is met ruim 2,5% de meest concrete op de tweede plaats. Herkenbaar voor iedereen met de corona ervaring van de afgelopen twee jaar. En verder scoort ‘other risks’ met 5% hoog. Dit is het risico voor al hetgeen de mensheid de komende honderd jaar nog zou kunnen uitvinden dat we nu nog niet kennen maar wel levensbedreigend zou kunnen worden. Klimaatverandering, nucleaire oorlog, vulkaan uitbarstingen en meteoorinslagen zijn slechts schilfertjes in de bar chart. De kans dat klimaatverandering optreedt is 100%, legt Otto uit, maar het gaat hier om de kans dat de mensheid ook daadwerkelijk uitsterft. Dat risico is niet zo heel groot. Kortom, aldus Otto, als we als mensheid willen overleven, moeten we AI beteugelen. Op dit moment is er alleen nog ‘narrow AI’. Die AI kan meestal maar één taak goed doen. Bijvoorbeeld een betere Go speler, of beter autorijden, maar niet heel veel taken tegelijk en zeker niet alle taken beter doen dan ons. Het gevaar komt van een Artificial General Intelligence (AGI). Dat is een, nu nog  hypothetische AI, die alles beter zou kunnen doen dan de mens.

Er zijn nu al AI’s met een grotere neuronencapaciteit dan een mens want de groei van het aantal neuronen in AI is exponentieel. Vijftien jaar geleden hadden de modellen ongeveer 1000 neuronen, maar ieder jaar stijgt dit met ongeveer een factor 10. Inmiddels zit AI al boven het niveau van de mens. Maar het is niet zeker of bij het opschalen van het aantal neuronen de AI ook altijd slimmer wordt. Tot nu toe geldt dat wel, maar er zou ook een einde kunnen komen aan die hypothese.

Otto vertelt dat er vorig jaar een doorbraak is geweest op dat gebied in de deepmind Gato. Voor het eerst is men daar in staat geweest om op een breed spectrum van zeshonderd menselijke taken de performance van de mensen te evenaren. Dat lijkt een stap op weg naar een AGI. Deepmind heeft genoeg investering opgehaald om hier 1.300 man fulltime op te zetten. En wereldwijd zijn er nog zo’n 72 andere projecten die hiermee aan het werk zijn.

Stel nou dat je een AGI krijgt. Wat betekent dat dan? Dan zitten we in een situatie dat AGI beter zou zijn dan de mens in elke cognitieve taak. En dat betekent dat ze dan per definitie ook beter zijn in de cognitieve taak van betere AI en betere hardware maken. Het maken van betere AI leidt weer tot AI die nog betere AI kan maken. Deze recursieve cirkel van continu verbetering is een positieve feedback loop die zou leiden tot een super intelligentie die vele malen beter is in alles wat wij kunnen. Maar het kan ook zijn dat er een bovengrens ontstaat, bijvoorbeeld mens-maal-twee.

Een andere interessante vraag is: stel dat je de AGI hebt, gaat de AGI dan doen wat wij willen? Het zou kunnen dat de AGI op een gegeven moment andere doelen krijgt dan ons. Wij willen ook niet allemaal hetzelfde. Mensen wilden vijftig jaar geleden ook andere dingen dan nu. Het is al moeilijk om te bedenken wat we zelf willen, laat staan wat een super intelligentie wil doen. Maar het is ook lastig om eventueel veranderende doelen in die AGI te destilleren. Het kan ook zijn dat een AGI wordt ingezet op het realiseren van korte termijn doelen die uiteindelijk een negatief effect hebben op langere termijn. Bijvoorbeeld, maak voor mijn bedrijf zoveel mogelijk winst, maar dat dit dan een klimatologisch impact heeft.

Om te voorkomen dat een AGI de mensheid overneemt zijn er grofweg twee aanpakken: ofwel we maken geen AGI, ofwel we maken het veilig. Het veilig maken is op dit moment de hoofdonderzoekstroom. Wereldwijd zijn nu naar schatting circa tweehonderd man bezig om te onderzoeken hoe je AI veilig kan ontwikkelen zodat die blijft doen wat wij willen. De vraag is of dat probleem oplosbaar is, want hierin is men de afgelopen twintig jaar niet verder gekomen. Hoe kunnen minder intelligente dingen een beveiliging bedenken die meer intelligente dingen niet kunnen omzeilen? Oplossingen hiervoor hebben een slechte trackrecord.

‘The Existial Risk Observatory is gericht op bewustzijn vergroting omdat de prioriteiten wereldwijd niet goed gesteld zijn’, geeft Otto aan. ‘Het is natuurlijk heel goed dat er zo veel mensen werken aan het klimaatprobleem. Maar existentiële risico’s zijn een vergelijkbaar probleem en daar werkt bijna niemand aan. De aanpak is om informatie van academici naar het publieke debat te brengen dat dan zorgt voor meer funding en talent die weer voor meer informatie kan zorgen. We denken dat het goed is als er meer mensen over zouden praten dus op de website van de Existial Risk Observatory kan je meer informatie vinden. Ook over wat je zelf zou kunnen doen’.

Een bijzondere opening van ons Triple-E debat over wat we allemaal wel niet kunnen met Data Science en AI. Met een gevoel van “Caution! Don’t try this at home” gaan we verder.

www.existentialriskobservatory.org