Phi gervigreind líkan af Microsoft - lítill, ódýr og þjáist ekki af "ofskynjunum". Þetta segja þeir um nýja tungumálamódelið sem spáð er mikilli framtíð.
GPT er alveg frábært, en á sama tíma er það hræðilega dýrt og það getur ekki verið fullkomið fyrir alla. Af þessum og mörgum öðrum ástæðum Microsoft er að gera tilraunir með mun minni gervigreind módel. Sagt er að Phi-3-mini setji jafnvel verk OpenAI verkfræðinga til skammar.
Einnig áhugavert: Smári framtíðarinnar: Nýtt tímabil flísar bíður okkar
ChatGPT er ekki töfralausn
ChatGPT er uppfinning sem er fjármögnuð, unnin og endurbætt Microsoft. Reyndar á það ekki heima Microsoft, og fyrirtækið OpenAI, sem Microsoft á ekki (hún er leiðandi, þó ekki stærsti, fjárfestirinn). GPT tungumálalíkanið gaf Microsoft risastórt forskot á restina af stóru tæknifyrirtækjunum sem eru nú að flýta sér að ná sér á strik. Hins vegar er gríðarlegur fjöldi vandamála með GPT, mörg þeirra eru ekki leyst ennþá.
Í fyrsta lagi er þetta mjög auðlindafrekt mállíkan. Vefmiðuð Microsoft Copilot eða ChatGPT frá OpenAI skapar mjög háan rekstrarkostnað fyrir Microsoft. Þetta er ekki aðeins eiginleiki GPT, heldur einnig allra helstu tungumálagerða. Að auki er GPT, eins og keppinautar þess, viðkvæmt fyrir „ofskynjunum“, það er að segja að það getur framkallað svör við fyrirspurnum sem innihalda rangar eða villandi upplýsingar. Því meiri gögn sem slíkt líkan gleypir, því meira hefur það tilhneigingu til að búa til svipað efni. Þess vegna eru ofskynjanir og rangar fullyrðingar ekki goðsögn soguð upp úr stafrænum fingri. Notendur taka oft eftir því að stór tungumálalíkön gera oft mistök, gefa ónákvæm gögn og vinna á staðreyndum sem ekki eru til.
Bæði vandamálin eru mjög alvarleg og þess vegna OpenAI, Microsoft, Meta, Google og fleiri vinna að því að þróa ekki aðeins Large Language Model tæknina, heldur einnig Small Language Model, sem í reynd getur skilað miklu betri árangri.
Aðstoðarmaður stafræns endurskoðanda þarf ekki að vita mikið um skammtaeðlisfræði. Það getur verið miklu minna og minna flókið (og þar af leiðandi ódýrara), og með því að þjálfa aðeins á þeim gögnum sem nauðsynleg eru í tilgangi þess, ætti fræðilega að ofskynja minna. Þó er þetta hægara sagt en gert. GenAI tækni er enn villt upplýsingatækniverkefni. Og þrátt fyrir að vinnan gangi á áður óþekktum hraða er enn erfitt að ná fram byltingum í grundvallaratriðum. En fyrirtækið Microsoft tilkynnti nýlega um slíka byltingu. Við erum að tala um lítið mállíkan Microsoft Phi.
Einnig áhugavert: Hvernig Taívan, Kína og Bandaríkin berjast fyrir tæknilegum yfirburðum: flísastríðið mikla
Hvað er vitað um Microsoft Phi
Í fyrsta lagi skal tekið fram að tilraunin var gerð án þátttöku OpenAI fyrirtækisins. Það er, það er þróun verkfræðinga Microsoft.
Fyrirmyndir Microsoft Phi er röð lítilla tungumálalíkana (SLM) sem ná framúrskarandi árangri í ýmsum prófum. Fyrsta líkanið, Phi-1, var með 1,3 milljarða færibreytur og náði bestu Python kóðunarárangri meðal núverandi SLM.
Þróunaraðilarnir einbeittu sér síðan að tungumálaskilningi og -hugsun og bjuggu til Phi-1.5 líkanið, sem hafði einnig 1,3 milljarða færibreytur og sýndi frammistöðu sambærilega við líkön með fimmfaldri færibreytum.
Phi-2 er 2,7 milljarða færibreytulíkan sem sýnir framúrskarandi rökhugsun og tungumálaskilningsgetu, skilar árangri á stigi bestu grunnlínulíkana með 13 milljarða breytum. Phi-2 sker sig úr frá öðrum gerðum vegna nýjunga sinna í módelsstærð og þjálfun gagnasöfnunar.
Það er fáanlegt í Azure AI Studio líkanaskránni, sem auðveldar rannsóknir og þróun á sviði tungumálalíkana. Phi-2 var hleypt af stokkunum í desember 2023. Hönnuðir tryggja að það virki eins vel og Mistral eða lama 2 frá Meta. Og Phi-3 virkar jafnvel betur en fyrri útgáfan.
Hins vegar er Phi-3 módelið sem var nýlega tilkynnt alveg ný í gæðum. Það er að minnsta kosti það sem þú getur dæmt af þeim upplýsingum sem gefnar eru Microsoft. Samkvæmt fyrirtækinu, samkvæmt vísbendingum allra þekktra viðmiða, skilar Phi-3 sig betur en nokkur önnur gerð af svipaðri stærð, þar á meðal tungumálagreiningu, forritunarvinnu eða stærðfræðivinnu.
Phi-3-mini, minnsta útgáfan af þessari gerð, er nýkomin fyrir alla áhugasama. Það er, það hefur verið í boði síðan 23. apríl. Phi-3-mini hefur 3,8 milljarða breytur og samkvæmt mælingum Microsoft, tvöfalt skilvirkari en önnur gerð af sömu stærð. Það er að finna í vörulistanum yfir gervigreindarlíkön af skýjaþjónustunni Microsoft Azure, Hugging Face vélnámsmódelvettvangurinn og Ollama, rammi til að keyra líkön á staðbundinni vél.
Eins og hann heldur fram Microsoft, Phi-3-mini þarf ekki öfluga flís Nvidia. Líkanið getur unnið á venjulegum tölvuflögum. Eða passa jafnvel í síma sem er ekki tengdur við internetið.
Minni kraftur þýðir líka að líkönin verða ekki eins nákvæm. Phi-3 hentar hvorki læknum né skattabókurum heldur hjálpar til við einfaldari verkefni. Til dæmis til að miða á auglýsingar eða draga saman dóma á netinu.
Þar sem smærri gerðirnar þurfa minni vinnslu verða þær ódýrari fyrir einkafyrirtæki í notkun. Það er að segja í Microsoft það verða fleiri viðskiptavinir sem myndu vilja taka gervigreind í vinnu sína en töldu það of dýrt. Hins vegar er ekki enn ljóst hversu mikið þær munu kosta.
Ekki er enn vitað hvenær litlu og meðalstóru módelin munu birtast. En sá síðarnefndi verður öflugri og dýrari. Þó það sé þegar vitað að Phi-3-small mun hafa 7 milljarða breytur og Phi-3-medium mun hafa allt að 14 milljarða breytur.
Lestu líka:
Hvernig á að nota Phi-3-mini?
GPT-4 Turbo krefst öflugra gervigreindarflaga, sem eru samt mjög dýrir. Phi-3 litla ræðulíkanið getur virkað án nettengingar, án skýsins, jafnvel með flís í farsíma.
Phi-3 er ekki vara fyrir endanotendur, heldur tækni sem forritarar munu geta notað og innleitt í forritum sínum - bæði skýjabundið, það er fjarstætt, og þau sem vinna á staðnum og utan nets. Gert er ráð fyrir að það virki óaðfinnanlega með tækjum og íhlutum þeirra, svo sem farsíma, bíla og upplýsinga- og afþreyingarkerfi þeirra, eða jafnvel IoT skynjara. Í sumum tilfellum getur þessi tækni verið ómetanleg.
Microsoft gefur meira að segja áþreifanlegt dæmi svo við þurfum ekki að þrengja að ímyndunaraflið. Ímyndaðu þér að bóndi skoðar uppskeru sína og sér merki um sjúkdóma á laufblöðum, stönglum og greinum. Þar sem hann er langt í burtu frá fjarskiptamöstrum þarf hann aðeins að taka fram símann sinn, taka mynd af skemmdunum, setja hann í forrit sem notar Phi-3 tækni - og líkanið mun fljótt og án nettengingar greina myndina og gefa ráð um hvernig nákvæmlega á að berjast gegn þessum sjúkdómi.
Eins og hann útskýrir Microsoft, lykillinn að velgengni GPT var að nýta gríðarlegt magn af gögnum til þjálfunar. Með svo stórum gagnasöfnum koma mikil gagnagæði ekki til greina. Á meðan, þegar Phi líkanið var þjálfað, var nákvæmlega andstæða OpenAI nálgun notuð. Í stað þess að troða líkaninu af upplýsingum var lögð áhersla á stigvaxandi og ítarlegt nám.
Í stað þess að nota hrá netgögn, rannsakendur Microsoft bjó til TinyStories gagnasafnið og bjó til milljónir smá „barna“ sagna. Þessar sögur voru notaðar til að þjálfa mjög lítil mállíkön. Rannsakendur gengu síðan lengra með því að búa til CodeTextbook gagnasafnið, sem notaði vandlega valin, opinber gögn sem voru síuð að fræðslugildi og innihaldsgæði. Þessi gögn voru síðan síuð nokkrum sinnum og færð aftur í stórt tungumálalíkan (LLM) til frekari myndun.
Allt þetta gerði það mögulegt að búa til fjölda gagna sem nægja til að þjálfa hæfari SLM. Að auki var notuð fjölþrepa nálgun við áhættustjórnun og mótvægisaðgerðir við þróun Phi-3 líkansins, þar á meðal mat, prófanir og handvirkar aðlöganir. Þar af leiðandi, eins og hann heldur fram Microsoft, forritarar sem nota Phi-3 líkanafjölskylduna geta nýtt sér verkfærasettið sem er í boði í Azure AI til að byggja öruggari og áreiðanlegri forrit.
Lestu líka: Fjarflutningur frá vísindalegu sjónarhorni og framtíð þess
Microsoft Mun Phi koma í stað ChatGPT-gerða módel?
Alls ekki. Lítil tungumálalíkön (SLM), jafnvel þegar þau eru þjálfuð á hágæða gögnum, hafa sínar takmarkanir og eru ekki hönnuð fyrir djúpt nám. Stór tungumálalíkön (LLM) standa sig betur en SLM í flóknum rökhugsun vegna stærðar þeirra og reiknikrafts. LLM eru, og munu halda áfram að vera, sérstaklega gagnleg á sviðum eins og lyfjauppgötvun, þar sem leitað verður í gegnum mikið safn vísindagreina og greina flókin mynstur. Á hinn bóginn er hægt að nota SLM fyrir einfaldari verkefni, eins og að draga saman helstu atriði í löngu textaskjali, búa til efni eða knýja spjallbotna fyrir þjónustuver.
Microsoft, sagði hún, notar nú þegar blendingslíkanasett innbyrðis, þar sem LLM tekur forystuna og beinir ákveðnum fyrirspurnum sem krefjast minni tölvuorku til SLM á meðan það sér um aðrar og flóknari fyrirspurnir sjálft. Phi er staðsettur fyrir tölvur í tækjum, án þess að nota skýið. Hins vegar mun enn vera bil á milli lítilla tungumálalíkana og greindarstigsins sem hægt er að fá með stórum líkönum í skýinu. Þetta bil, þökk sé áframhaldandi þróun LLM, er ólíklegt að hverfa í bráð.
Phi-3 hefur enn ekki verið staðfest af utanaðkomandi óháðum aðilum. Microsoft talar stundum um 25 sinnum meiri nýtni eða orkunýtingu í öfgum tilfellum, samanborið við keppinauta, sem hljómar alveg stórkostlega. Þó má á hinn bóginn ekki gleyma því að þessi ár eru liðin Microsoft venja okkur aðeins frá því að það er klárlega leiðandi í upplýsingatækninýjungum og kannski þess vegna trúum við því ekki í raun. Gervigreindarforrit sem bregðast samstundis og keyra án nettengingar í stað þess að búa til? Þetta væri verðugur hápunktur núverandi byltingar. Því miður er eitt lykilvandamál.
Lestu líka: Allt um Neuralink Telepathy flöguna: hvað það er og hvernig það virkar
Phi-3 frá Microsoft skilur bara ensku
Phi-3 gleypti ekki petabætunum sem kastað var í hann í massavís. Nákvæm og nákvæm þjálfun líkansins felur í sér eitt lítið vandamál. Phi-3 hefur verið þjálfaður með upplýsingar á ensku og hefur ekki hugmynd um neitt annað tungumál ennþá. Ekki aðeins úkraínska, heldur einnig þýska, spænska, franska eða kínverska. Auðvitað dregur þetta mjög úr aðdráttarafl þess til flestra notenda um allan heim.
En í Microsoft fullvissað um að unnið sé að þróun og endurbótum þess. Þó að þú ættir ekki að blekkja sjálfan þig með því að úkraínski markaðurinn er forgangsverkefni einhverra stórfyrirtækja. Þess vegna verðum við að bíða mjög lengi eftir stuðningi úkraínsku tungumálsins. En þessi staðreynd hefur aldrei stöðvað áhugamenn og þá sem vilja fylgjast með framförum.
Lestu líka: