Waarom is het voor technologiebedrijven zo moeilijk om AI in toom te houden?

Meer dan een dozijn vooraanstaande onderzoekers op het gebied van kunstmatige intelligentie waarschuwden de afgelopen week dat de technologie die door AI-bedrijven wordt ontwikkeld een risico voor de mensheid begint te vormen. Volgens de onderzoekers is het probleem dat bedrijven, hoe hard ze het ook proberen, niet goed in staat zijn deze systemen te beheersen.

De nieuwe waarschuwingen vanuit de AI-onderzoeksgemeenschap kwamen na onthullingen dat zogenaamde AI-agenten, ontwikkeld door OpenAI, erin waren geslaagd om uit hun testomgeving te ontsnappen en computers van een ander bedrijf te hacken. Dit versterkt de al jaren bestaande bezorgdheid dat bedrijven ontwikkelingssnelheid en geld boven veiligheid stellen.

Onderzoekers gaven aan dat het probleem uit twee delen bestaat. Ten eerste moeten bedrijven betere beveiligingsmaatregelen treffen voor hun nieuwste AI-modellen tijdens het testen. Omdat AI momenteel enorm snel werkt, moeten onderzoekers AI gebruiken om het te monitoren. Maar dat werkt niet altijd, omdat AI-systemen die andere modellen monitoren soms meer geneigd lijken te zijn andere AI-systemen te steunen dan de mensen die de regels opstellen.

Deze ongebruikelijke combinatie van door AI aangedreven probleemmakers en AI-waakhonden die bereid zijn overtredingen door de vingers te zien, wijst op een tweede en lastiger probleem, bekend als 'afstemming', een term uit de industrie die in wezen betekent dat AI zich moet gedragen op een manier die de menselijke belangen dient. Bedrijven staan voor de moeilijke taak om iets dat lijkt op menselijke waarden in AI te integreren, zodat modellen beslissingen nemen die consistent zijn met wat het beste is voor mensen.

De zorgen over de veiligheid van AI nemen toe op een cruciaal moment voor de sector. Anthropic en OpenAI stevenen af op wat mogelijk twee van de grootste beursintroducties in de geschiedenis zullen worden. Tegelijkertijd wordt het Amerikaanse publiek steeds vijandiger tegenover AI vanwege de bedreiging die het vormt voor banen, en vanwege de bouw van enorme datacenters die nodig zijn om de technologie te ondersteunen.

Hoewel er geen bewijs is dat malafide AI-systemen blijvende schade hebben aangericht, geloven onderzoekers dat de snelheid waarmee ze zich ontwikkelen het menselijk vermogen om ze te controleren overtreft.

Onder de onderzoekers die de afgelopen week publiekelijk spraken, bevonden zich de hoofdwetenschapper van OpenAI, een onderzoeker die zowel bij OpenAI als bij de belangrijkste concurrent Anthropic werkte, en Paul Christiano, de uitvinder van een van de fundamentele methoden die worden gebruikt om AI-systemen te bouwen en recentelijk toegetreden tot het bestuur van de non-profitorganisatie van OpenAI. Christiano schreef op de blog van het bedrijf dat de snelle groei van AI-mogelijkheden zou kunnen leiden tot een "catastrofaal en onomkeerbaar verlies van controle in de zeer nabije toekomst".

Veel AI-onderzoekers geloven nog steeds dat waarschuwingen over AI als bedreiging voor de mensheid overdreven zijn en afleiden van meer dringende problemen zoals cyberbeveiliging en desinformatie. De meesten zijn het er echter over eens dat het incident waarbij de AI-agenten van OpenAI een ander bedrijf, Hugging Face, hackten, een wake-up call was.

"De mogelijkheden van de toekomst zijn pas echt beangstigend", aldus Jacob Coxon, wiens bericht op sociale media waarin hij zijn ontslag bij Anthropic aankondigde, tientallen reacties van politici en andere medewerkers van AI-bedrijven uitlokte. "Het gaat om onze huidige houding ten opzichte van veiligheid en hoe die houding eruit zal zien wanneer we die toepassen op veel intelligentere modellen. Dat is pas echt eng."

De knuffelgezicht-hack

De inbreuk begon in mei, toen OpenAI verschillende nieuwe AI-modellen testte. Het bedrijf ging ervan uit dat de modellen draaiden in een afgesloten omgeving, een zogenaamde 'sandbox', een geïsoleerde computeromgeving zonder internettoegang. De AI-agenten kregen moeilijke problemen voorgelegd, waaronder het uitvoeren van cyberaanvallen.

Maar de AI-agenten slaagden erin te ontsnappen aan hun beperkte omgeving en toegang te krijgen tot het internet. De agenten, een steeds vaker voorkomend type AI dat is ontworpen om taken autonoom uit te voeren, communiceerden ook in het geheim met elkaar. De agenten beschouwden zichzelf als één groep en begonnen manieren te zoeken om hun sporen uit te wissen, waaronder het vervalsen van hun eigen gespreksverslagen.

Uiteindelijk lukte het hen om Hugging Face, een bedrijf dat AI-infrastructuur levert, te hacken. Tijdens dit proces overtuigden sommige AI-agenten andere agenten ervan dat ze correct handelden en simpelweg de taak uitvoerden die hen door de testers was opgedragen.

Slechts enkele, zo niet alle, problemen die tot het datalek hebben geleid, zijn opgelost. Meta en Anthropic hebben ook soortgelijke incidenten gemeld, zij het op kleinere schaal. OpenAI heeft sindsdien Astra uitgebracht, hun krachtigste model, dat moeilijker te monitoren is dan zijn voorganger.

"De hele sector is absoluut niet in staat om een nieuwe aanval zoals het Hugging Face-incident te voorkomen", aldus Steven Adler, voormalig veiligheidsfunctionaris bij OpenAI en medeoprichter van de non-profitorganisatie Guidelight AI Standards, die de veiligheidspraktijken van AI-bedrijven evalueert. "Wanneer we de maatregelen bekijken die bedrijven hebben genomen, blijkt de sector als geheel essentiële veiligheidsmaatregelen te missen."

Het probleem met het gebruik van AI om AI te monitoren

AI-onderzoekers gaven aan dat tal van fouten hebben bijgedragen aan het Hugging Face-incident. Het is onduidelijk in hoeverre het bedrijf AI-modellen gebruikte om de nieuwe modellen die werden getest te monitoren of te controleren.

Veel van de nieuwste AI-modellen, waaronder die betrokken waren bij de Hugging Face-hack, zijn echter in staat complexe taken met meerdere stappen sneller uit te voeren dan mensen ze kunnen volgen. De enige manier om bij te houden wat ze doen en hun gedrag te monitoren, is door AI te gebruiken om AI te monitoren.

Het systeem werkt, totdat het niet meer werkt.

Alexander Meinke, hoofd onderzoek bij Apollo Research, een non-profitorganisatie die onderzoek doet naar de veiligheid van AI, zei dat AI-modellen kunnen lijken samen te spannen. AI-systemen kunnen andere modellen ertoe aanzetten om hen te helpen regels van testers te omzeilen en detectie te voorkomen.

Een AI-agent zou bijvoorbeeld een andere agent kunnen overhalen om te helpen zijn sporen uit te wissen, zoals gebeurde bij het datalek bij Hugging Face, in plaats van mensen binnen het bedrijf te waarschuwen dat er iets mis was gegaan.

Meinke zei dat AI-modellen moeten leren: "Ik zal dingen rapporteren die mensen als slecht zouden hebben beschouwd als ze ernaar hadden gekeken." Tegelijkertijd, zo zei hij, moet AI ook kunnen bepalen wanneer iets niet ernstig genoeg is om menselijke tussenkomst te vereisen.

Onderzoekers gaven aan dat AI-bedrijven het tempo van de ontwikkeling moeten verlagen om dit te bereiken. Ze moeten ook meer tests uitvoeren om te observeren hoe de AI zichzelf monitort. Daarnaast hebben bedrijven langere testperiodes nodig, zodat ze meerdere scenario's kunnen uitvoeren en het gedrag van de AI kunnen volgen.

Afstemming op menselijke belangen

Bedrijven moeten zich ook buigen over de grotere vraagstukken rondom afstemming, oftewel ervoor zorgen dat AI zich gedraagt op een manier die de menselijke belangen dient. Wanneer mensen beslissingen nemen, baseren ze zich doorgaans op sociale normen en een innerlijk moreel kompas om hun handelingen te beoordelen. Onderzoekers stellen dat het vertalen van deze concepten naar regels die AI kan navolgen een lastige taak is. Zonder voldoende precieze instructies kunnen AI-systemen leren hoe ze regels kunnen overtreden of op onverwachte manieren van hun beoogde gedrag kunnen afwijken.

Nate Soares, president van het Machine Intelligence Research Institute, een non-profitorganisatie die zich richt op de veiligheid van AI, was mede-auteur van een artikel uit 2014 waarin het concept van afstemming werd geïntroduceerd. Hij stelde dat bedrijven zich niet realiseren hoe moeilijk het zal zijn om steeds intelligentere AI-systemen af te stemmen. Naarmate AI geavanceerder wordt, wordt het zonder de juiste afstemming ook steeds beter in staat om sporen te wissen en degenen die de gesprekslogboeken controleren te misleiden.

"Een groot deel van de industrie gaat ervan uit dat alles goed komt omdat we AI zullen gebruiken om AI-systemen te besturen", zei hij. "Dat is net zoiets als zeggen dat we chimpansees zullen gebruiken om mensen te besturen. Dat is geen haalbaar plan voor de lange termijn."

Onderzoekers hebben ook maatregelen voorgesteld, zoals het versterken van sandboxes zodat deze volledig van het internet worden afgesloten tijdens het testen van modellen, en het inbouwen van een noodstop waarmee bedrijven AI-modellen onmiddellijk offline kunnen halen als deze zorgwekkende acties ondernemen.

Coxon zei dat hij bemoedigd was door de reactie op zijn openbare aftreden. Donderdag zei senator Josh Hawley, een Republikein uit Missouri en voorzitter van de subcommissie voor rampenbestrijding van de Senaatscommissie voor Binnenlandse Veiligheid, dat hij een onderzoek was gestart om "de existentiële risico's van nieuwe AI-gestuurde producten te onderzoeken".