OpenAI har tatt et nytt skritt i integreringen av kunstig intelligens med daglig databruk ved å fullstendig fornye Codex, deres kodeagent for skrivebordet. Verktøyet, som tidligere var kjent hovedsakelig for sin programmeringshjelp, er nå i ferd med å bli en assistent som er i stand til å håndtere applikasjoner, huske preferanser og administrere prosjekter nesten sømløst.
Med denne oppdateringen nærmer selskapet, ledet av Sam Altman, planen sin om å skape en En «superapp» for skrivebordet som forener ChatGPT, Codex og Atlas-nettleseren dinHensikten med dette er å forenkle brukeropplevelsen, konsentrere ressurser i ett enkelt arbeidsområde og utfordre konkurrenter som Anthropic, spesielt innen programvareutvikling og avansert automatisering.
Codex lærer å bruke datamaskinen som enhver annen bruker
En av de mest slående endringene er at Codex nå kan kontrollere datamaskinen i bakgrunnenAgenten kan se hva som er på skjermen, flytte sin egen markør, klikke, skrive tekst og reagere på hva som skjer i de installerte applikasjonene, uten å avbryte det brukeren gjør med musen eller tastaturet.
Denne funksjonen lar flere Codex-agenter samarbeide parallelt på samme lagDette innebærer å utføre tester, endre konfigurasjoner eller utføre repeterende oppgaver mens personen fortsetter med sine normale aktiviteter. Dette åpner døren for å automatisere arbeidsflyter som tidligere krevde konstant overvåking, for eksempel å teste en applikasjon etter hver kodeendring eller gjenta grensesnitthandlinger.
OpenAI foreslår denne funksjonen som en måte for assistenten å operere med verktøy som ikke har et API eller direkte integrasjoner, noe som er vanlig i mange skrivebordsprogrammer. Codex, ved å "se" skjermen og kontrollere markøren, kan samhandle med disse applikasjonene akkurat som en menneskelig bruker ville gjort, men foreløpig på en kontrollert måte og med spesiell oppmerksomhet på sikkerhet.
Ifølge selskapet er bruk av datamaskin i utgangspunktet tilgjengelig i macOS via Codex-skrivebordsapplikasjonen, koblet til en ChatGPT-konto. Windows-versjonen kommer senere, når ytelsen er testet og funksjonene er tilpasset Microsoft-miljøet.
Når det gjelder Europa og Storbritannia, har OpenAI bekreftet at datakontroll, avansert tilpasning, kontekstuelle forslag og minne De vil bli aktivert senere. Årsaken er behovet for å tilpasse disse funksjonene til personvernforskriftene, et spesielt krevende krav i EU og det britiske markedet.
Integrert nettleser og direkte arbeid på nettsider
Oppdateringen styrker også Codex' forhold til nettet takket være en nettleseren integrert i selve applikasjonenI stedet for bare å motta generiske tekstinstruksjoner, kan agenten motta kommandoer direkte på bestemte elementer på en side.
I frontend-utvikling kan brukeren for eksempel Velg en webkomponent og beskriv endringen. Brukeren ønsker å gjøre noe (som å endre farge, tekststørrelse eller layout på en blokk), og Codex forstår instruksjonene innenfor den spesifikke visuelle konteksten. Dette unngår å måtte skrive lange instruksjoner som forklarer hvilken del av nettstedet som må endres.
Denne innebygde nettleseren tillater også Codex Analyser innhold, samle informasjon og bruk den som kontekst For andre oppgaver, som å dokumentere kode, gjennomgå produktspesifikasjoner eller sammenligne teknisk dokumentasjon, gjøres alt i samme miljø, uten å måtte bytte mellom flere operativsystemvinduer.
Generering og redigering av bilder med gpt-image-1.5
En annen pilar i den nye versjonen av Codex er integreringen av modellen gpt-image-1.5 for å lage og endre bilder Fra selve skrivebordsapplikasjonen kan agenten generere diagrammer, modeller eller visuelle skisser fra tekst, eller ved å kombinere instruksjoner med skjermbilder og kodestykker.
Denne funksjonaliteten er direkte rettet mot teamene som jobber i produktdesign, brukergrensesnitt eller prototyper for videospillFor eksempel kan en utvikler ta et skjermbilde av et halvferdig grensesnitt, be Codex om å foreslå en ny meny eller et nytt fargevalg, og få genererte bilder som passer til den konteksten, uten å bytte verktøy.
Med alt sentralisert i Codex, kan agenter kjede sammen kode- og designoppgaverskriv logikken til en funksjonalitet, oppdater det tilhørende grensesnittet og generer en visuell mockup for å presentere for teamet, uten å forlate arbeidsflyten eller måtte åpne eksterne grafikkredigeringsprogrammer.
Minne, kontekst og langsiktig oppgaveautomatisering
Utover datakontroll og bildegenerering er OpenAIs store satsing med denne versjonen å utstyre Codex med en vedvarende hukommelse og mye bredere konteksthåndteringVerktøyet kan gjenbruke tidligere samtaler, bevare viktig informasjon og hente den frem når det er nødvendig for å fortsette et prosjekt.
Minnefunksjonen, som lanseres i forhåndsvisning, tillater Codex huske personlige preferanser, hyppige rettelser eller data som var vanskelige å samle innDette inkluderer alt fra et teams typiske teknologistabel til hvordan mapper er organisert, de mest brukte rapportformatene og taggen som vanligvis brukes på GitHub for visse typer problemer.
Med den akkumulerte konteksten kan agenten proaktivt foreslå oppgaverDette kan brukes til å foreslå å gjenoppta et uferdig prosjekt, anbefale ventende refaktorering eller varsle brukere om langvarige pull-forespørsler. Noen selskaper bruker det allerede til å spore samtaler i Slack, Gmail eller Notion og reagere når visse hendelser inntreffer.
Codex kan også planlegge arbeidet for fremtiden og reaktivere deg selvstendig for å fullføre langsiktige oppgaver. For eksempel kan den administrere en kø med kodegjennomganger i dager eller uker, ta tak i kommentarer og oppdatere dokumentasjon uten at utvikleren trenger å overvåke den konstant.
Over 90 tillegg og forbedret utviklerstøtte
For å fullføre endringen har OpenAI lagt til nesten 90 nye Codex-pluginerDisse inkluderer integrasjoner med Microsoft Suite, GitLab Issues, Neon by Databricks, Render og Superpowers, samt støtte for MCP-servere (Model Context Protocol). Målet er å gi agenten flere kontekstkilder og større driftsmuligheter.
Takket være disse programtilleggene kan Codex samle informasjon fra ulike tjenester og handle ut fra den Fra ett enkelt arbeidsområde kan du gjennomgå problemer i GitLab, spørre data i et Databricks-miljø, oppdatere Office-dokumenter eller samhandle med distribusjonstjenester, uten å tvinge brukeren til å hoppe fra plattform til plattform.
Rent teknisk sett styrker oppdateringen typiske arbeidsflyter for utviklereNå hjelper Codex deg med å gjennomgå pull-forespørsler, administrere flere terminalfaner samtidig, koble til eksterne utviklingsmiljøer via SSH og åpne filer med omfattende forhåndsvisninger, enten det er PDF-er, regneark, presentasjoner eller dokumenter i andre formater.
Alt dette er konsentrert i en enhetlig opplevelse som, ifølge OpenAI selv, muliggjør raskere fremgang. i alle stadier av programvarens livssyklusFra å skrive den første koden til testing, distribusjon, dokumentasjon og vedlikehold av den, med AI-agenter som kontinuerlig samarbeider i samme skrivebordsmiljø.
Tilgjengelighet, fokus på utviklere og situasjonen i Europa
Den nye versjonen av Codex er allerede i drift i skrivebordsapplikasjon for macOS For de som logger inn med en ChatGPT-konto. Ikke alle funksjoner krever samme type abonnement, og noen avanserte funksjoner kan avhenge av abonnementet som er kjøpt, slik tilfellet er med andre OpenAI-verktøy.
Thibault Sottiaux, direktør i Codex, forklarte at denne oppdateringen Den er spesielt rettet mot utviklereSelv om hensikten er å utvide den til et mer generelt publikum senere, er tanken at tekniske team skal være de første til å dra nytte av de nye agentene og automatiserte arbeidsflytene, og over tid overføre den modellen til kontoroppgaver, dokumenthåndtering eller personlig produktivitet.
OpenAI vektlegger at bruken av datakraft og minne implementeres med en sikkerhets- og regeloverholdelsestilnærmingDette er spesielt relevant i EU og Storbritannia. Av denne grunn vil det ta litt lengre tid før avanserte tilpasningsfunksjoner, kontekstuelle forslag, permanent minne og direkte operativsystemkontroll blir tilgjengelige i disse markedene.
Uansett hevder selskapet at denne utviklingen av Codex åpner døren for en skrivebords-superapplikasjon fokusert på intelligent automatiseringder AI-agenter ikke bare hjelper til med å skrive kode, men også koordinerer oppgaver, tilpasser seg brukerens arbeidsstil og holder komplekse prosjekter i gang over lengre perioder. For programvareutviklere i Europa er budskapet klart: nye funksjoner kommer, men med nødvendige justeringer for å passe innenfor det eksisterende regelverket.