Ad braniravańnia pajezdak da ździajśnieńnia navukovych adkryćciaŭ. Nieŭzabavie moža źjavicca novaja madel štučnaha intelektu
Jana budzie ŭ 100 razoŭ bolš mahutnaj za GPT-4. Ale na šlachu — rekordnyja vydatki i niečakanyja ciažkaści.
23.12.2024 / 16:38
Ilustracyjny zdymak. Fota: Igor Omilaev / Unsplash
«Tajamničaja i zvyšmahutnaja» — takim čynam YouTube kanał «AI Revolution» akreśliŭ novuju madel štučnaha intelektu OpenAI.
Havorka idzie pra madel «Aryjon» (Orion) abo GPT-5, jakaja pavinna być u 100 razoŭ bolš mahutnaj za GPT-4. Heta zrabiła b jaje adnoj z samych ambicyjnych sistem ŠI.
«Aryjon» źjaŭlajecca častkaj prajekta OpenAI pa stvareńni t. zv. štučnaha ahulnaha intelektu (AGI) — raznavidnaści ŠI, jaki zmoža razvažać i vučycca hetak ža, jak čałaviek.
Dzipa Sitcharaman (Deepa Seetharaman) — žurnalistka, jakaja aśviatlaje tematyku ŠI ŭ vydańni The Wall Street Journal — raspaviadaje pra cikavyja niuansy pracy nad «Aryjonam».
Na kartu pastaŭleny vielizarnyja sumy
Praces navučańnia madelaŭ ŠI — padača im masiŭnych abšaraŭ tekstu, kab dapamahčy im vyvučyć moŭnyja šabłony, — patrabuje niezvyčajnaj vyličalnaj mahutnaści.
Kažuć, što GPT-4 kaštavaŭ bolš za 100 miljonaŭ dołaraŭ tolki na navučańnie. Adzin šaścimiesiačny «navučalny zapusk» (intensiŭny pieryjad, na praciahu jakoha madel atrymlivaje ŭsie svaje danyja) moža kaštavać da 500 miljonaŭ dołaraŭ tolki ŭ vyhladzie vyličalnych vydatkaŭ.
Niekatoryja ekśpierty miarkujuć, što vydatki na madeli nastupnaha pakaleńnia lohka mohuć pieravysić 1 miljard dołaraŭ.
Hetyja kałasalnyja sumy abumoŭleny darahim abstalavańniem, u pryvatnaści hrafičnymi pracesarami (GPU) ad Nvidia, viadomymi svaimi mahčymaściami paralelnaj apracoŭki.
Adzin centr apracoŭki danych, jaki vykarystoŭvajecca OpenAI dla navučańnia madeli, moža adnačasova anhažavać dziasiatki tysiač hetych hrafičnych pracesaraŭ.
Ich kruhłasutačnaja praca na praciahu niekalkich miesiacaŭ nie tolki spalvaje vielizarnuju kolkaść elektraenierhii, ale i patrabuje pieradavych sistem astudžeńnia, śpiecyjalnych inžynieraŭ i bieśpierapynnaha absłuhoŭvańnia, kab harantavać, što navučańnie nie sarviecca pasiaredzinie.
OpenAI daŭno płanavaŭ pierajemnika GPT-4, jaki ŭ publičnaj dyskusii nazyvajecca GPT-5 i maje kodavuju nazvu «Aryjon» (Orion). Jak paviedamlaje Dzipa Sitcharaman, «Aryjon» raspracoŭvaŭsia bolš za 18 miesiacaŭ i, pavodle zadumy, pavinien stać surjoznym krokam napierad u mahčymaściach ŠI.
«U toj čas jak GPT-4 — heta «kiemny staršakłaśnik», «Aryjon» — navukoviec sa stupieńniu PhD», — zaŭvažaje Sitcharaman.
Čakajecca, što «Aryjon» budzie vydavać bolš nadziejnyja danyja, mienš pamylacca i charaktaryzavacca ŭdaskanalenymi navykami razumieńnia. Jon zmoža vyrašać roznyja składanyja zadačy — ad braniravańnia pajezdak da ździajśnieńnia navatarskich adkryćciaŭ.
Nie biez prablemaŭ
Microsoft, najbujniejšy partnior OpenAI, pieršapačatkova čakała, što GPT-5 źjavicca prykładna ŭ siaredzinie 2024 hoda. Adnak raspracoŭka akazałasia značna bolš składanaj.
Byli zrobleny dva asnoŭnyja trenirovačnyja zapuski — abodva praciahłyja, resursajomistyja, kožny ź jakich kaštavaŭ sotni miljonaŭ dołaraŭ.
Kožny raz daśledčyki sutykalisia ź niepradbačanymi ciažkaściami. U toj čas jak «Aryjon» demanstravaŭ pośpiechi ŭ niekatorych halinach, jon, jak paviedamlajecca, nie dasiahnuŭ navatarskaha prahresu, na jaki spadziavalisia kiraŭniki i inviestary.
Bolš za toje, źmieny ŭ kanstrukcyi aznačali, što pracesy navučańnia byli vielmi pavolnymi i darahimi, sparadžajučy pytańnie ab tym, ci apraŭdany košt maštabam prahresu.
Hałoŭnaja prablema «Aryjona» — heta vyjście pa-za stratehiju «čym bolš, tym lepš». Papiarednija madeli OpenAI vykarystoŭvali miljardy (i ŭ kančatkovym vyniku tryljony) tokienaŭ, uziatych ź internetu — navinavyja artykuły, paviedamleńni ŭ sacyjalnych sietkach, navukovyja artykuły i mnohaje inšaje.
Ale, jak zaŭvažyŭ Illa Suckievier (suzasnavalnik OpenAI, jaki niadaŭna pakinuŭ kampaniju), internet abmiežavany.
«U nas tolki adzin internet», — skazaŭ jon, majučy na ŭvazie, što era lohkaha dostupu da bolšaj kolkaści tekstavych danych zaviaršajecca.
Jašče bolš uskładniaje situacyju niedachop vyličalnych resursaŭ. Pašyranyja navučalnyja zapuski «Aryjona» pavinny supierničać ź inšymi kamandami, jakija stvarajuć novyja viersii GPT-4 abo instrumientaŭ ŠI dla vyjavaŭ, videa (naprykład, Sora, hienieratar AI-videa OpenAI) abo śpiecyjalizavanych rašeńniaŭ dla karparatyŭnych klijentaŭ.
Napružanaja ŭnutranaja baraćba za GPU i čas centra apracoŭki danych stvaraje dadatkovy cisk na hrafik «Aryjona».
Pieraasensavańnie navučańnia ŠI: staŭka na «razumavańnie»
Vialikija moŭnyja madeli, takija jak sieryja GPT, abapirajucca na praces navučańnia, padobny da čytańnia cełych biblijatek tekstu i navučańnia pradkazańniu nastupnaha słova ŭ paśladoŭnaści.
Jany pahłynajuć tryljony «tokienaŭ» abo frahmientaŭ słoŭ, uziatych ź internetu, knih, navukovych prac i inšaha adpaviednaha tekstu.
U pryncypie, čym bolš danych madel «pahłynaje», tym bolš nadziejnym moža stać jaje razumieńnie movy. Uvieś hety praces navučańnia adbyvajecca na masiŭnych kłastarach hrafičnych pracesaraŭ.
Kožny skačok patrabavaŭ značna bolš danych, bolš daskanałych ałharytmaŭ i ekspanientna bolšaj vyličalnaj mahutnaści.
U vypadku «Aryjona» OpenAI pasprabavaŭ abjadnać novyja architekturnyja prajekty ź jašče bolš šyrokim naboram danych. Adnak, kali pačałasia treniroŭka, vyniki byli mała ŭražvajučymi.
Adzin probny zapusk pad nazvaju «Arrakis» išoŭ tak pavolna, što možna było mierkavać, što poŭnaja treniroŭka zojmie vielmi šmat času i budzie astranamična doraha kaštavać.
Pakolki prostaha pavieličeńnia masivu danych moža być niedastatkova, daśledčyki OpenAI pieraklučajuć uvahu na razumavańnie. Zamiest taho, kab vučyć madel pradkazvać nastupnaje słova, ideja zaklučajecca ŭ tym, kab dazvolić madeli doŭha «pradumvać» roznyja rašeńni, pierš čym pryjści da adkazu.
Adna sa śpiecyjalizavanych madelaŭ OpenAI pad kodavaj nazvaj o1 užo demanstruje patencyjał razumieńnia šlacham hienieracyi niekalkich adkazaŭ na zapyt i ich unutranaj acenki pierad tym, jak dać kančatkovy adkaz.
Taki padychod darahi, bo jon, pa sutnaści, zapuskaje niekalki viersij adnaho zapytu, ale moža dać bolš staranna pradumanyja adkazy.
Razumavańnie taksama praduhledžvaje dazvoł madelam paetapna tłumačyć svajo myśleńnie, što moža dapamahčy im vyznačyć niedachopy abo praliki. Naprykład, madel moža vyrašyć składanuju łahičnuju hałavałomku, pieraličvajučy kožny krok na šlachu da rašeńnia.
Hety bolš refleksiŭny padychod nakiravany na vyrašeńnie najbolš surjoznych prablem dahetulešnich sistem štučnaha intelektu: ich schilnaść da «halucynacyj» pry zachavańni ŭpeŭnienaj maniery vydavańnia adkazaŭ. Kali navučyć madel zapavolvacca i razumieć, kolkaść halucynacyj možna pamienšyć.
Niahledziačy na niaŭdačy, «Aryjon» — heta ambicyjny prajekt pa stvareńni madeli štučnaha intelektu nastupnaha pakaleńnia, jakaja značna pieraŭzychodzić GPT-4 pa intelektu i nadziejnaści.
Usia industryja ŭvažliva sočyć za hetym, uśviedamlajučy, što kali «Aryjon» usio ž paśpiachova zapracuje, heta sapraŭdy moža ździejśnić revalucyju va ŭsim — ad vyrašeńnia štodzionnych zadač da ździajśnieńnia navatarskich navukovych daśledavańniaŭ.