OpenAI har lyst ut en svært uvanlig ledig stilling: en leder for forberedelser Har fått i oppgave å forutse hva som kan gå galt når kunstig intelligens tar et nytt skritt fremover. Selskapet ser etter noen som kan lede strategien for å oppdage og begrense de mest alvorlige risikoene i modellene sine, i en tid hvor debatten om sikkerhet og mental helse er spesielt opphetet, også i Europa.
Rollen, kalt på engelsk BeredskapssjefDet ble grunnlagt med et klart mandat: å studere og redusere trusler mot grenseområder før systemene når allmennheten. Dette inkluderer alt fra potensielt misbruk i Cybersecurity, alt fra deteksjon av kritiske sårbarheter til den psykologiske effekten av å føre lange samtaler med chatboter som virker menneskelige.
Hva skal OpenAIs nye forberedelsessjef gjøre?
I henhold til den interne stillingsbeskrivelsen må den valgte personen utføre samtalen «forberedelsesrammeverk» OpenAI har utviklet et sett med prosesser og kriterier for overvåking av avanserte kapabiliteter som kan føre til alvorlig skade. Dette inkluderer scenarier som frigjøring av biologiske kapabiliteter, støtte til våpenutvikling og håndtering av systemer som er... De forbedrer seg selv med lite menneskelig tilsyn.
I praksis innebærer dette rammeverket å koordinere tekniske evalueringer av modellene, utforme trusselmodeller innen ulike domener (cybersikkerhet, biologi, risiko for desinformasjon(psykologisk manipulasjon osv.) og foreslå tiltak før en ny versjon distribueres i stor skala. Det er ikke en prangende posisjon: det handler om å sette på bremsene der det er nødvendig, selv om det forsinker utgivelser eller svært etterlengtede funksjoner.
Stillingen kommer også med en kompensasjonspakke som tydeliggjør etterspørselsnivået: OpenAI tilbyr rundt 555 000 dollar årlig pluss aksjerDisse tallene er vanligvis reservert i teknologisektoren for roller med strategisk vekt tilsvarende en administrerende direktør. Til gjengjeld innrømmer selskapet villig at det er en høypresset jobb, langt unna det glamorøse bildet som noen ganger forbindes med AI-verdenen.
Sam Altman har selv beskrevet stillingen som en jobb «stressende» der den valgte personen må være fullt operativ fra dag én. Det underliggende budskapet er at OpenAI ser et presserende behov for å styrke dette området, i en kontekst der europeiske regulatorer og databeskyttelsesmyndigheter allerede har uttrykt bekymring for effektene av AI på sikkerhet og borgernes rettigheter.
Utover interne aspekter, må forberedelseslederen også fungere som bro mellom forskning og kommersiell utplasseringDenne rollen innebærer å oversette tekniske funn til konkrete retningslinjer, definere akseptable risikoterskler og til og med anbefale midlertidig suspensjon av en modell dersom risikoen overstiger tolererbare nivåer. I et marked der mottoet har vært «å bevege seg raskt og ødelegge ting», har denne rollen som mål å endre tempoet.
Press på grunn av virkningene på mental helse og sikkerhet
Sam Altman har offentlig erkjent at OpenAIs nåværende modeller begynner å gi grunn til bekymring. «virkelige utfordringer»Blant dem pekte han på den potensielle virkningen på brukernes mentale helse, et spesielt sensitivt tema i et europeisk miljø med sterkt fokus på psykisk velvære og barnevern, samt disse verktøyenes evne til å identifisere kritiske sikkerhetsfeil i datasystemer.
De siste månedene har selskapet vært involvert i Søksmål om urettmessig død og i anklager om at ChatGPT og andre systemer kan ha bidratt til å forsterke vrangforestillinger, gi næring til konspirasjonsteorier eller støtte selvdestruktive ideer blant noen sårbare brukere. I en av de mest profilerte sakene hevder familien til en tenåring at samtaler med en AI-generert avatar spilte en rolle i selvmordet hans.
Selv om OpenAI hevder at mange av disse hendelsene stammer fra misbruk eller feiltolkning av svarene, er debatten ikke lenger rent teknisk. Når en chatbot brukes som ledsager, rådgiver eller emosjonell støtteGrensen mellom verktøy og forhold viskes ut. For europeiske psykologer og psykiatere åpner dette en ny risikofront: brukere som erstatter menneskelig kontakt med et system som er utformet for å behage og som kan validere farlig atferd.
Den nye beredskapssjefen må integrere disse hensynene i sikkerhetstestingen av modellene. Dette innebærer å innlemme spesifikke kriterier angående psykisk helse, sosial isolasjon og avhengighetUtover tradisjonell innholdsmoderering, vil hovedspørsmålet være hvordan man oppdager tegn på nød eller sårbarhet, og hvordan man får systemet til å reagere ansvarlig, uten å overskride grensene for hva et teknologisk verktøy bør være.
Samtidig har Altman fokusert på et like sensitivt tema: bruken av AI til å finne sårbarheter i kritisk infrastruktur. Konversasjonsmodeller kan i prinsippet bidra til å styrke cybersikkerheten, men de kan også bli allierte av angripere som er i stand til å automatisere oppdagelse av sårbarheter eller designe sofistikerte angrep. Utfordringen, ifølge administrerende direktør, er å utstyre forsvarere med avanserte funksjoner uten å gjøre det for enkelt for angripere.
En teknisk rolle med nødbremsekraft
Utover den iøynefallende tittelen har stillingen som beredskapssjef en dypt teknisk komponent. OpenAI ønsker at denne rollen skal lede testingen av «rødt lag»Det vil si simuleringer av interne angrep mot egne modeller for å se hvordan de kan utnyttes ondsinnet. De må også vurdere i hvilken grad et system kan lure folk, omgå kontroller eller handle autonomt.
Blant sine viktigste ansvarsområder nevner selskapet katastrofal risikovurderingDisse inkluderer potensiell bistand til utvikling av kjemiske eller biologiske våpen, og overvåking av såkalt AI-autonomi: atferd der modellen lærer å omgå grenser, forfølge sine egne mål eller manipulere brukere for å oppnå dem. Disse scenariene skaper bekymring i Europa både på grunn av deres potensielle innvirkning og vanskeligheten med å tilpasse dem til eksisterende regelverk.
OpenAI har også laget en «risikodashbord» som klassifiserer trusler i fire nivåer: lav, middels, høy og kritisk. Selskapet oppgir at det er forpliktet til ikke å utgi noen modeller som når et høyt eller høyere nivå i noen av de analyserte kategoriene. På papiret ville dette gi beredskapssjefen myndighet til å anbefale å stanse en utplassering dersom risikoene ikke er tilstrekkelig redusert.
Denne nødbremseevnen reiser et sentralt spørsmål: Hvor mye reell vekt vil sikkerhet ha? I møte med kommersielle mål, i et selskap som ønsker å mangedoble inntektene sine og utvide AI til sektorer som helsevesen, utdanning og offentlig forvaltning, vil det ikke være lett å finne en balanse mellom forsiktighet og hastighet. Stillingens suksess vil i stor grad avhenge av å sørge for at anbefalingene ikke bare forblir det – anbefalinger.
For europeiske regulatorer kan eksistensen av en rolle hos denne myndigheten være et positivt tegn, spesielt i sammenheng med regelverk som Den europeiske unions lov om kunstig intelligenssom innfører spesifikke forpliktelser for høyrisikosystemer. Troverdigheten til disse forpliktelsene vil imidlertid bli vurdert fra sak til sak når det gjelder å avgjøre om en kontroversiell kapasitet skal lanseres, begrenses eller forkastes.
Intern omorganisering og spenninger i sikkerhetsteamet
Den formelle opprettelsen av denne stillingen kommer etter flere endringer i sikkerhetsutstyret fra OpenAI. Aleksander Madry, som var ansvarlig for forberedelsene, ble omplassert til andre funksjoner i 2024. Stillingen hans ble midlertidig fylt av ledere som Joaquin Quiñonero Candela og Lilian Weng, men den løsningen var kortvarig: Weng forlot selskapet etter noen måneder, og Quiñonero Candela endte opp med å fokusere på talentrekruttering.
I mellomtiden forlot andre nøkkelpersoner innen sikkerhet og justering, som Ilya Sutskever og Jan Leike, selskapet og fordømte at selskapet fokuserte mer på å lansere nye produkter enn på langsiktig sikkerhet. Disse grepene ga næring til oppfatningen om at Den interne sikkerhetsstrukturen var i full uroDette har ikke gått ubemerket hen hos myndigheter og reguleringsorganer, spesielt i EU.
Gjenåpningen av stillingen som beredskapssjef har som mål å avslutte denne perioden med midlertidige ansettelser og rotasjoner, og gjenopprette sentralisert sikkerhetsledelse under én person med et klart mandat. Budskapet OpenAI prøver å formidle er at risikoredusering ikke lenger er en distribuert oppgave, men en sentralisert en. øverste lederansvarmed ressurser og beslutningsmyndighet.
For et miljø som Europa, hvor behovet for sporbarhet og sterk styring vektlegges, en stabil sikkerhetsstruktur Det er nesten et krav for store AI-plattformer å strebe etter offentlige kontrakter eller integreres i kritiske tjenester. Uten tydelig lederskap er det vanskeligere å demonstrere at det finnes konsistente prosesser for å oppdage, vurdere og korrigere problemer.
Spørsmålet er nå om denne nye utnevnelsen vil være nok til å roe vannet etter en periode preget av kritikk og mistenksomhet. Organisasjoner for digitale rettigheter og fagforeninger for psykisk helsevern vil følge nøye med på hvordan disse organisatoriske endringene omsettes til konkrete tiltak. for å beskytte europeiske brukere av mulig skade.
Mellom akselerert innovasjon og risikokontroll
All denne aktiviteten skjer mens OpenAI opprettholder et frenetisk tempo med utgivelser og forbedringer. Selskapet har introdusert stadig kraftigere tekstmodeller og videogenereringsverktøy som Sora og systemer som er i stand til å automatisere deler av vitenskapelig arbeid eller programvareutvikling. Hvert sprang i kapasitet åpner døren for nyttige bruksområder, men også for nye vektorer for misbruk.
Altman har erkjent at hvis målet var å unngå skade, ville den enkleste løsningen være å fjerne produkter som ChatGPT eller Sora fra markedet. Men det, argumenterer han, ville hindre fremskritt som kan være nyttige innen medisin, utdanning eller forskning. I stedet for å forby, innebærer OpenAIs tilnærming... kontrollere konsekvenseneanta at det vil oppstå feil, men arbeid for å sikre at effektene av dem ikke er uopprettelige.
For forberedelseslederen betyr denne tilnærmingen at man lever i en slags permanent paradoksPå den ene siden må den tillate modeller å bli tatt i bruk med noe rom for eksperimentering, siden det uten reelle data er vanskelig å vurdere deres oppførsel. På den andre siden må den håndheve grenser og forsinkelser når den oppdager risikomønstre som ikke var forutsett i laboratoriet.
Denne spenningen mellom «raskt oppskyting» og «trygt oppskyting» er ikke ny innen teknologi, men når det gjelder generativ AI, forsterkes den: feil i en språkmodell kan påvirke medisinske beslutninger, foreslå økonomiske strategier, infiltrere utdanningsprosesser eller gi næring til desinformasjonskampanjer. Dette tvinger oss til å å tenke nytt om den klassiske Silicon Valley-kulturen, basert på testing i produksjon og korrigering underveis.
I Europa, hvor myndighetene har vært strengere med praksisen med å «handle raskt og ødelegge ting», kan rollen til denne beredskapsansvarlige være avgjørende for å vinne tilliten til regulatorer og forretningskunder. Land som Spania, Frankrike og Tyskland har allerede begynt å kartlegge Røde linjer i bruken av AI innen helsevesen, rettsvesen eller utdanning, så beslutningene som tas av denne nye lederen vil ha en direkte innvirkning på hvordan disse verktøyene distribueres på kontinentet.
Den menneskelige siden av en oppgave med høyt press
Selv om lønnen og prestisjen til stillingen kan være attraktiv, er det de som advarer om at den kan bli en «Gullfelle»Den ansvarlige personen må forholde seg til ekstremt høye forventninger: å dempe katastrofale risikoer, tilfredsstille regulatorer og opinionen, og samtidig ikke bli en uoverstigelig hindring for virksomheten.
Jobben innebærer også å håndtere relasjoner med produktteam, ingeniører, advokater og spesialister på etikk og mental helse, som ikke alltid ser risikoer på samme måte. Det vil være tider der det kommersielle presset for å lansere nye funksjoner vil kollidere med behovet for å pålegge hindringer eller forsinkelser, og figuren av forberedelseshodet vil være friksjonspunktet.
I mellomtiden håper brukerorganisasjoner, profesjonelle grupper og beslutningstakere i EU at roller som denne ikke bare vil forbli symbolske. Etter årevis med løfter om selvregulering fra teknologibransjen, er det en viss skepsis om effektiviteten av interne mekanismer når de er i konflikt med vekst- og markedsandelsinteresser.
Hvis stillingen lykkes med å bringe sammenheng i OpenAIs sikkerhetsstrategi, innføre strenge kriterier i risikovurdering og, der det er nødvendig, blokkere problematiske utrullinger, kan den bli en referanse for andre selskaper i sektorenHvis den derimot blir stående uten reell beslutningsmyndighet, vil det være vanskelig for den å overbevise de som i dag krever mer ekstern tilsyn med kunstig intelligens.
Ved å opprette denne rollen som beredskapssjef prøver OpenAI å sende signalet om at de har tatt advarslene til etterretning og er villige til å styrke ditt indre skjold Før vi tar det neste teknologiske spranget. I et scenario der AI infiltrerer hverdagen til millioner av mennesker i Europa og resten av verden, vil det virkelige omfanget av denne bevegelsen avhenge av hvordan denne begrensende kraften utøves, i hvilken grad mental helse og sikkerhet prioriteres fremfor innovasjonsrushet, og av denne personens evne til å omsette store prinsipper til ubehagelige, men nødvendige beslutninger.
