NVIDIAs beslutning om åpen kildekode Audio2Face markerer et viktig skritt for de som lager digitale figurer med naturlig uttrykksevne. Med dette tiltaket oppfordrer selskapet flere studioer og utviklere til å integrere AI-generert ansiktsanimasjon og leppesynkronisering i videospill, 3D-applikasjoner og altoppslukende opplevelser uten de vanlige tilgangsbarrierer.
Utgivelsen dekker Audio2Face SDK, modellene av regresjon og kringkasting i sin versjon v3.0, Og opplæringsrammeverk å justere atferd med sine egne data. Innsatsen fokuserer på å akselerere bruken av AI-baserte avatarer i sektorer som videospill, media, underholdning og kundeservice.
Hva er Audio2Face, og hvorfor er det viktig?
Audio2Face-transformasjoner talesignaler (fonemer, prosodi og emosjonelle nyanser) til kurver og animasjonsdata som synkroniserer lepper og uttrykk med stor gjengivelse. Denne utdataen kan brukes i sanntid eller i prosesser offline, alt fra forhåndsinnspilte filmsekvenser til dynamiske interaksjoner i sanntid i en grafikkmotor.
For spilleren eller tilskueren er resultatet et mer troverdig uttrykksevne, med karakterer som reagerer konsekvent på tonen og rytmen i lyden, noe som forbedrer fordypningen i dialogscener, Nærbilder og tjenester med virtuelle assistenter.
SDK-er, maler og verktøy tilgjengelig
Publikasjonen inkluderer Audio2Face SDK, Modellene regresjon y kringkasting v3.0, Og treningsmiljø nødvendig for å tilpasse teknologien til ulike ansiktsstiler og utstyr. Det er også offisielle plugins til Autodesk Maya (v2.0) y Unreal Engine 5 (v2.5), slik at integrering i profesjonelle pipelines er enkel.
I tillegg distribueres komplementære modeller som f.eks. Audio2Emotion, i stand til å utlede emosjonelle tilstander fra lyd, og eksempeldatasett å begynne å eksperimentere så snart som mulig. For de som leter etter mer informasjon og ressurser, refererer NVIDIA til ACE for spill, hvor settet med relaterte verktøy er kompilert.
Integrering i 3D-arbeidsflyter
I eksisterende produksjoner, den Maya- og Unreal Engine 5-pluginer gjør det enkelt å tilordne Audio2Face-utdata til ansiktsrigger, og kombinere det med håndlagde animasjonslag eller opptakssystemer. SDK-en tillater automatisere prosesser, bygge interne verktøy og koble AI til animasjonsredigerere eller systemer gi vanlig i studier.
Teknologien er optimalisert å kjøre med høy ytelse på moderne GPU-er (som RTX-serien), selv om det faktum at koden er åpen gjør det enklere å utforske andre distribusjonskonfigurasjoner og tilpassede justeringer i henhold til behovene til hvert prosjekt.
Komplementære modeller og tilpasning
Med opplæringsrammeverk Når de er lansert, kan tekniske team forbedre modeller med sitt eget fonemtre, språklige regler og stemmevariasjon, eller målrette resultatet mot spesifikke riggstiler. Kombinasjonen med Audio2Emotion åpner døren for uttrykksfulle nyanser som bedre gjenspeiler timing og talerens intensjon.
For de som er i startfasen, eksempeldata lar deg validere lydkanalisering, teste leppesynkronisering og evaluere kvaliteten på overføring til rigger før du investerer i ditt eget opplæringskorpus.
Adopsjon i bransjen
Audio2Face er allerede integrert i verktøy og prosjekter av studier og leverandører i sektoren. Navnene som er nevnt inkluderer Codemasters, NetEase, Reallusion, Perfect World Games, GSC Games World, Convai, Inworld AI, Streamlabs og UneeQ Digital Humans, et tegn på at teknologien har modnet i virkelige omgivelser.
- Reallusion innlemmet Audio2Face i iClone y Character Creator, og kombinerer det med funksjoner som ansiktsdukketeater y AccuLip for å finjustere leppesynkroniseringen.
- SurviosPå Alien: Rogue Incursion Evolved Edition, optimalisert sin rørledning ansiktsanimasjon for å heve nedsenking i virtuell virkelighet.
- The Farm 51 brukte det i Tsjernobylitt 2: Eksklusjonssone, og når et nivå av realisme bedre enn den første utgivelsen.
Åpent fellesskap og samarbeid
Med tilgjengelig kode inviterer NVIDIA deg utviklere, studenter og forskere å bidra med forbedringer, foreslå nye funksjoner og tilpasse løsningen til spesifikke brukstilfeller. Selskapet oppfordrer også til deltakelse i Audio2Face Discord-server, et møtepunkt for å dele fremdrift og løse tekniske spørsmål.
Lisensendringen gjør det enklere for fellesskapet å eksperimentere med heterogene arbeidsflyter, fra videospill og VTubing til virtuelle assistenter i bedrifter, og konsolidere en kodebase som det kan itereres raskt og med åpenhet.
Med åpningen av Audio2Face får det AI-styrte ansiktsanimasjonsøkosystemet et betydelig løft: mer tilgang, bedre integrasjoner og en adopsjonsplan som, i lys av de allerede kjente tilfellene, har en lang vei å gå både i AAA-produksjoner som i små team som søker kvalitet uten å starte på nytt.
