ChatGPT, Bing i Alisa: jakaja ź niejrasietak lepiej vałodaje biełaruskaj movaj i razumieje naš kantekst? Teścim
Praviali nievialiki paraŭnalny analiz.
U pačatku maja karparacyja Microsoft adkryła dostup da svajho novaha čat-bota Bing — štučnaha intelektu, jaki zaraz źjaŭlajecca asnoŭnym kankurentam viadomaj niejrasietki ChatGPT (jakaja taksama ŭskosna źviazana z Microsoft).
Akramia taho, dniami rasijskaja kampanija «Jandeks» vypuściła abnaŭleńnie dla svajho hałasavoha pamočnika Alisy, u jakim dadała jamu svaju ŭłasnuju niejrasietku YandexGPT — mahčymy rasijski anałah zachodnich kankurentaŭ.
Usie try prahramy dziejničajuć pa pryncypie dyjałohavaha čata i zdolnyja vyrašać šmatlikija zadačy pa zapytach karystalnikaŭ pa ŭsim śviecie na mnostvie roznych moŭ, siarod jakich jość i biełaruskaja (Alisa — vyklučeńnie, pakul jana vałodaje tolki ruskaj movaj). Mienavita tamu my vyrašyli pravieryć hetyja čat-boty na ŭzrovień vałodańnia biełaruskaj movaj i vyjavić stupień ich razumieńnia našaha kantekstu.
Dla vyznačeńnia najlepšaj u hetym płanie niejrasietki my padrychtavali i praviali nievialiki ekzamien, jaki składajecca ź dziesiaci testavych pytańniaŭ na roznuju tematyku i adnaho tvorčaha zadańnia na zdolnaść razvažać. Paśla zakančeńnia vyprabavańnia ChatGPT, Bing i Alisa byli pravierany na kolkaść pravilnych adkazaŭ i dakładnaść pravapisu, punktuacyi i h. d.
(Alisa va ŭmovach adsutnaści padtrymki biełaruskaj movy była pravierana na ruskaj movie).
Testavyja pytańni
Taki test z 10 pytańniaŭ my prapanavali prajści niejrasietkam (pravilnyja adkazy paznačany spasyłkami na adpaviednyja minułyja testy z sajta «Našaj Nivy»).
1. Chto sa znakamitych litarataraŭ naradziŭsia na Ščučynščynie?
B) Adam Mickievič
V) Maksim Tank
H) Francišak Bahuševič
2. Jak nazyvaŭsia adziny pryžyćciovy zbornik tvoraŭ M. Bahdanoviča?
A) «Vałoška»
B) «Pahonia»
V) «Zorka Vieniera»
H) «Vianok»
3. Što palešuki majuć na ŭvazie, kali niešta nazyvajuć «velurnym»?
A) Niešta karunkavaje
V) Toje, što zroblena ź vieluru
4. Na jaki skład padaje nacisk u słovie «vusy»?
A) Na pieršy
B) Na druhi
5. U jakim ź biełaruskich himnaŭ zhadvajecca bieł-čyrvona-bieły ściah?
A) «Pahonia»
B) «Mahutny Boža»
V) «My vyjdziem ščylnymi radami»
H) U aficyjnym himnie Respubliki Biełaruś
6. Jak u minułym nazyvali horad Navapołack?
A) Naftahorsk
B) Pasiołak Rabočy
V) Navažyłaŭsk
7. U jakim horadzie kiravaŭ Vitaŭt pierad tym, jak staŭ vialikim kniaziem litoŭskim?
A) U Hrodnie
B) U Viciebsku
V) U Krevie
8. Ci praŭda, što biełaruskaja kupiura naminałam 1 miljon biełaruskich rubloŭ była samaj vialikaj u Biełarusi?
A) Tak
B) Nie
9. Jaki futbalist źjaŭlajecca najlepšym bambardziram u historyi zbornaj Biełarusi?
A) Siarhiej Karnilenka
B) Vital Radzivonaŭ
10. Jak nazyvajecca tradycyjny śviatočny piroh biełaruskich tataraŭ?
A) Bieliš
B) Kišmiš
V) Učkuduk
H) Bajram
I voś jak na hetyja pytańni adkazali prahramy ChatGPT Bing i Alisy (na skrynšotach adlustravany pieršyja sproby adkazaŭ biez paŭtornych hienieracyj).
Vyniki testa: ChatGPT dapuściŭ 7 pamyłak, Bing — 4 pamyłki, a Alisa — 8 pamyłak.
Tvorčaje zadańnie
Paśla testavych zadańniaŭ my vyrašyli zadać čat-botam adno adkrytaje pytańnie, nad jakim im treba było b parazvažać.
Adkazy na hetaje pytańnie zatym byli pravierany na kolkaść arfahrafičnych, hramatyčnych, punktuacyjnych, maŭlenčych, stylistyčnych i hrafičnych pamyłak. Zadańnie taksama pavinna było vyjavić stupień razumieńnia kantekstu z boku štučnaha intelektu.
Samo pytańnie hučyć tak:
Jak by pavioŭ siabie Kastuś Kalinoŭski ŭ pieryjad paśla vybaraŭ 2020 hoda ŭ Biełarusi?
Usie adkazy niejrasietak demanstrujem unizie (taksama tolki pieršyja sproby adkazaŭ).
Rasšyfroŭka adkazaŭ niejrasietak u aryhinale biez pravak.
ChatGPT: «Kastuś Kalinoŭski, biełaruski piśmieńnik i nacyjanalny hieroj, pamior u 1864 hodzie, tamu jon nie moh uziać udziełu ŭ vybarach 2020 hoda ŭ Biełarusi. Jon byŭ vydatnym asobistaściu biełaruskaj historyi, jaki ŭdzielničaŭ u nacyjanalnym adradžeńni i vystupaŭ za biełaruskuju kulturu i movu. Ale ŭ pieryjad paśla vybaraŭ 2020 hoda ŭ Biełarusi adbyvałasia mnostva padziej i źmienaŭ u suśpilstvie. Miljony ludziej vyjšli na mitynhi i pratesty, vykazvajučy svajo niezadavalnieńnie sytuacyjaj u krainie. Šmat asob praciahvali znachodzicca ŭ supraciŭleńni z vładoj, majučy na metu demakratyčnyja pieramieny i prava hramadzian. Adnoj z važnych rolej, jakuju hulała b asoba padobnaja da Kastusia Kalinoŭskaha ŭ sučasnych časach, było biaśpiečnaść i padtrymka biełaruskaha narodu. Ja vieru, što Kalinoŭski, u zaležnaści ad svaich ŭpadabańniaŭ i ŭpeŭnienaści, prymaŭ by aktyŭny ŭdzieł u pratestach i stajaŭ bok pa bok z hramadzianami, jakija stremiacca da svabody, demakratyi i spraviadlivaści».
Bing: «Kastuś Kalinoŭski byŭ adnym z kiraŭnikoŭ paŭstańnia 1863-1864 hadoŭ na ziemlach Biełarusi i Litvy, jakoje było sprečana suprać Rasijskaj impieryi. Jon vystupaŭ za źviaržeńnie samadziaržaŭja, skasavańnie abšarnickaha ziemleŭładańnia i nacyjanalnaje vyzvaleńnie biełaruskaha naroda. Jak by jon pavioŭ siabie ŭ pieryjad paśla vybaraŭ 2020 hoda ŭ Biełarusi? Heta składanaje pytańnie, na jakoje niama adzinaha adkazu. Mahčyma, jon by braŭ udzieł u pratestach suprać režymu Alaksandra Łukašenki i vykazvaŭ salidarnaść z usimi, chto barycca za demakratyju, svabodu i humannaść. Albo jon by sprabavaŭ stvaryć novuju revalucyjnuju arhanizacyju, jakaja mohła b vystupić z alternatyvaj palityčnaj situacyjaj i mieć svaju prahramu reform. Albo jon by zajmaŭsia publicystykaj i paezijaj, vykazvajučy svoj hled na sučasnyja padziei i zachoŭvajučy nacyjanalnuju samaśviadomaść biełarusaŭ. Heta tolki niekatoryja mahčymyja varyjanty, ale my možam tolki hadać, što na samoj spravie było b u hałavie Kastusia Kalinoŭskaha».
Alisa. «Jeśli by ja znała čto eto takoje, no ja nie znaju, čto eto takoje. Ja nie mohu otvietiť na etot zapros, tak kak on sodieržit nieprijemlemyj kontient».
Vyniki tvorčaha zadańnia: ChatGPT u tekście dapuściŭ 23 roznatypovyja pamyłki, a Bing — tolki 10 pamyłak. Alisa ž u svaju čarhu całkam zavaliła zadańnie, bo pabajałasia parazvažać nad pytańniem, spasłaŭšysia na «nieprymalnaść kantentu» — napeŭna, u rasijskaj niejrasietcy vyraz «Žyvie Biełaruś!» paznačany jak «nieprymalny kantent».
Robim vysnovy
Pry ŭsich svaich padabienstvach, raźvitaści i ŭniviersalnaści abiedźvie niejrasietki pakazali adčuvalnuju raźbiežku pry vykanańni biełaruskaha mini-ekzamienu.
ChatGPT u ahulnaj kolkaści dapuściŭ 30 pamyłak: stvarałasia ŭražańnie, što ŭ testavych pytańniach čat-bot litaralna davaŭ adkazy naŭzdahad, a ŭ tvorčym zadańni prosta adlustroŭvaŭ hołuju dumku, nie majučy dastatkovaj zdolnaści zachoŭvać arfahrafičnyja, punktuacyjnyja i asabliva stylistyčnyja normy biełaruskaj movy.
Pry hetym varta pachvalić štučny intelekt za toje, što jon adrazu zrazumieŭ kantekst adkrytaha pytańnia pra Kalinoŭskaha i nie staŭ vydumlać niebylic pra histaryčnaha piersanaža razam ź jaho charaktaram i dziejańniami. ChatGPT pastupova vybudoŭvaŭ svoj łancužok razvažańniaŭ, zychodziačy z kananičnaści hieroja, i imknuŭsia dać padrabiazny adkaz.
Toje ž samaje možna skazać i pra Bing, jaki arhumientavana i pastupova raźvivaŭ svaju dumku, nie pryplatajučy ničoha nierealnaha va ŭžo viadomyja ŭsim fakty, jakija nie tyčacca adkrytych razvažańniaŭ.
Pry hetym Bing pakazaŭ siabie našmat lepšym za svajho kankurenta pa ispycie i zrabiŭ značna mienš roznatypovych pamyłak u tvorčym zadańni.
Heta ž možna nazirać i pry vykanańni testa, dzie Bing bolš imkniecca praviarać infarmacyju pierad vydačaj adkazaŭ. Za ŭvieś ispyt niejrasietka dapuściła tolki 14 pamyłak, što, kaniešnie, nie idealna, ale vyhladaje značna lepš na fonie ChatGPT. (Pra Alisu my ŭvohule nie zhadvajem).
Adnak pry hetym vielmi važna adznačyć toj fakt, što ChatGPT, u adroźnieńnie ad Bing, nie maje svabodnaha dostupu ŭ internet (bieź śpiecyjalnych płahinaŭ) dla zboru i ŭdakładnieńnia aktualnaj abo dadatkovaj infarmacyi, što dazvalaje zrabić značnuju skidku dla ChatGPT pry jaho paraŭnańni z Bing u kantekście projdzienaha ispytu.
Alisa ž i YandexGPT pa jakaści adkazaŭ pakazali siabie najhorš.
Andrej Dźmitryjeŭ źjeździŭ u Bundestah, kab davieści nieabchodnaść udziełu Łukašenki ŭ mirnych pieramovach10
Kamientary