Meta birtir kóðann í gervigreindinni með opnum aðgangi undir nafninu ImageBind, sem spáir fyrir um tengsl milli gagna svipað því hvernig fólk skynjar eða ímyndar sér umhverfi sitt. Þó að myndavélar eins og Midjourney, Stable Diffusion og DALL-E 2 bindi orð við myndir, sem gerir þér kleift að búa til sjónrænar senur byggðar á textalýsingu, gengur ImageBind lengra en það. Það getur tengt texta, myndir eða myndskeið, hljóð, þrívíddarmælingar, hitastigsgögn og hreyfigögn – og gerir það án þess að þurfa forþjálfun við hvert tækifæri. Þetta er frumstig ramma sem mun að lokum geta búið til flókið umhverfi úr einföldum inntakum eins og textakvaðningu, mynd eða hljóði (eða samsetningu þess).
Þú getur hugsað um ImageBind sem nálgun vélanáms við mannlegt nám. Til dæmis, ef þú stendur í kraftmiklu umhverfi, eins og fjölfarinni borgargötu, gleypir heilinn (aðallega ómeðvitað) sjón, hljóð og aðra skynjun til að fá upplýsingar um bíla sem fara fram hjá, háar byggingar, veðrið og fleira. . Menn og önnur dýr hafa þróast til að vinna úr þessum gögnum fyrir erfðafræðilega kosti okkar: að lifa af og miðla DNA okkar áfram. (Því meira sem þú veist um umhverfi þitt, því meira getur þú forðast hættu og aðlagast umhverfi þínu til að lifa betur af og dafna). Eftir því sem tölvur komast nær því að líkja eftir fjölskynjunartengingum dýra geta þær notað þessar tengingar til að búa til fullkomlega raunhæfar senur byggðar á aðeins takmörkuðum gögnum.
Svo þó að þú gætir notað Midjourney til að búa til „basset hund í Gandalf búningi á jafnvægi á strandbolta“ og fá tiltölulega raunhæfa mynd af þeirri undarlegu senu, gæti fjölþætt gervigreind tól eins og ImageBind endað með því að búa til myndband með hundinum með viðeigandi hljóð, þar á meðal nákvæma stofu, stofuhita og nákvæma staðsetningu hundsins og allra annarra í senunni. „Þetta skapar frábært tækifæri til að búa til hreyfimyndir úr kyrrstæðum myndum með því að sameina þær með hljóðbeiðnum,“ segja Meta-rannsakendurnir í bloggi sínu sem miðar að þróunaraðila. „Til dæmis getur höfundur sameinað mynd með vekjaraklukku og galandi hani og notað hljóðmerki til að greina hanann eða hljóð vekjaraklukkunnar til að skipta klukkunni í sundur og lífga hvort tveggja í myndbandsröð.“
Hvað annað er hægt að gera með þessu nýja leikfangi, þá bendir það klárlega á eitt af meginmarkmiðum Meta: VR, blandaðan veruleika og metaspace. Til dæmis, ímyndaðu þér framtíðar heyrnartól sem getur byggt upp fullkomlega að veruleika 3D senur (með hljóði, hreyfingu osfrv.) á flugu. Eða sýndarleikjaframleiðendur gætu á endanum notað það til að spara sér verulegan hluta af erfiðri vinnu í hönnunarferlinu. Sömuleiðis gætu efnishöfundar búið til yfirgripsmikil myndbönd með raunsæjum hljóðrásum og hreyfingum byggðum á texta, myndum eða hljóði. Það er líka auðvelt að ímynda sér hvernig tæki eins og ImageBind opnar nýjar dyr í aðgengi með því að búa til rauntíma margmiðlunarlýsingar til að hjálpa fólki með sjón- eða heyrnarskerðingu að skilja betur umhverfi sitt.
Einnig áhugavert: Bestu verkfærin byggð á gervigreind
„Í dæmigerðum gervigreindarkerfum er ákveðin innfelling (þ.e. töluvektorar sem geta táknað gögn og tengsl þeirra í vélanámi) fyrir hverja viðeigandi aðferð,“ segir Meta. „ImageBind sýnir að það er hægt að búa til sameiginlegt innfellingarrými fyrir margar aðferðir án þess að þurfa að þjálfa gögn með hverri einstakri samsetningu aðferða. Þetta er mikilvægt vegna þess að vísindamenn geta ekki búið til gagnapakka með sýnishornum sem innihalda til dæmis hljóðgögn og hitauppstreymi frá fjölförnum borgargötu, eða dýptargögn og textalýsingu á sjávarklettum.
Meta telur að þessi tækni muni á endanum fara út fyrir núverandi sex "skynfæri", ef svo má segja. „Þrátt fyrir að við höfum rannsakað sex aðferðir í núverandi rannsókn okkar, teljum við að með því að kynna nýjar aðferðir sem tengja saman eins mörg skilningarvit og mögulegt er – eins og snerting, tal, lykt og fMRI heilamerki – muni gera ríkari mannmiðaða gervigreindarlíkön. Hönnuðir sem hafa áhuga á að skoða þennan nýja sandkassa geta byrjað á því að kafa inn í opinn frumkóða Meta.
Lestu líka: