{"id":4958,"date":"2020-04-02T15:00:11","date_gmt":"2020-04-02T12:00:11","guid":{"rendered":"http:\/\/mokslosriuba.lt\/kartumesgalime\/?p=4958"},"modified":"2020-04-02T15:00:11","modified_gmt":"2020-04-02T12:00:11","slug":"kai-dirbtinis-intelektas-uz-mus-kalbes","status":"publish","type":"post","link":"https:\/\/mokslosriuba.lt\/kartumesgalime\/2020\/04\/02\/kai-dirbtinis-intelektas-uz-mus-kalbes\/","title":{"rendered":"Kai dirbtinis intelektas u\u017e mus kalb\u0117s"},"content":{"rendered":"

\u0160\u012f ra\u0161in\u012f KTU informatikos doktorantas Lukas Stankevi\u010dius para\u0161\u0117 2019 m. mokslo populiarinimo ra\u0161ini\u0173 konkursui. Primename, kad pana\u0161i\u0173 ra\u0161ini\u0173, publikuoti \u0161iame puslapyje laukiame nuolatos. Juos si\u0173skite: rasiniai@mokslosriuba.lt<\/em><\/p>\n

Lukas Stankevi\u010dius<\/p>\n

\"\"
\u0160altinis: MarkGregory007, licenzija CC BY-NC-SA 2.0<\/p>\n<\/figcaption><\/figure>\n

Su \u0161eima \u017ei\u016br\u0117jome animacin\u012f film\u0105 \u201eWall-E\u201c, kur \u017emon\u0117s ateityje vaizduojami nepaeinantys tinginiai \u2013 robotai juos lovose ve\u017eioja, aprengia, maitina, paduoda telefonus. Vienintel\u0117 likusi funkcija \u2013 bendravimas su kitais per i\u0161maniuosius \u012frenginius. Ta\u010diau a\u0161 dr\u012fs\u010diau paprie\u0161tarauti. \u017dvelgdamas vien \u012f \u0161i\u0173 met\u0173 dirbtinio intelekto pasiekimus kalbos srityje, galiu teigti, kad mums nereik\u0117s ir kalb\u0117ti. Nor\u0117dami rasti vakarienei su mylimuoju\/mylim\u0105ja viet\u0105, duosime ma\u017edaug toki\u0105 komand\u0105 kalbos sistemai \u201cmano sistema xxx, u\u017esakyk staliuk\u0105 dviems, kokiam geram restorane, kur nors netoli\u201d. Arba, sud\u0117tingesniais atvejais: \u201ca\u0161 noriu i\u0161siskirti su jau nemylima\/nemylimu, pa\u0161nek\u0117k su ja\/juo \u2026\u201d Atrodo baisiai? Juk kalbos sistema yra ir kitoje pus\u0117je. Na, o k\u0105 ateityje tuomet gal\u0117tume veikti mes, arba, kas bus lik\u0119 mums beveikti, palikime \u0161\u012f klausim\u0105 filosofams.<\/p>\n

Ne veltui min\u0117jau staliuko u\u017esakym\u0105 \u2013 tai jau \u012fmanoma. Dar 2018 m. gegu\u017e\u0119 Google pristat\u0117 savo asistent\u0105 Google Duplex [1], kuris, kaip teigiama, ir yra skirtas tokiems u\u017esakymams. Per pristatym\u0105 buvo parodyta, kad asistentas netgi daug geriau susigaud\u0117 apie k\u0105 kalbama, nei restorano telefonu atsiliepusi moteris, ir daug kam auditorijoje tai suk\u0117l\u0117 juok\u0105. Mums juokinga, nes asistentui tai buvo sunki situacija d\u0117l \u017emogaus nesupratingumo. Bet jis j\u0105 \u012fveik\u0117.<\/p>\n

Google Duplex n\u0117ra vienintelis. Kitas gerai \u017einomas yra Amazon Alexa. Tai garso kolon\u0117l\u0117s pavidalo \u012frenginys, valdomas balsu. Alex\u2019os papra\u0161ius, \u0161i gali paleisti norim\u0105 muzik\u0105, nustatyti \u017eadintuv\u0105, paai\u0161kinti termin\u0105, pasakyti or\u0173 prognoz\u0119, prane\u0161ti naujausias \u017einias ir t. t. Beveik kiekviena did\u017eioji kompanija yra suk\u016brusi kok\u012f nors asistent\u0105. Samsumg \u2013 Bixby, Apple \u2013 Siri; Microsoft \u2013 Cortana.<\/p>\n

Kiekvienas nor\u0117tume asistento, kuris u\u017e mus, o ne prie\u0161 mus pakalb\u0117t\u0173. Deja, pasaulyje jau vyksta \u201cprie\u0161\u201d. Garsi JAV laida \u201eLast week tonight\u201c 2019 m. kov\u0105 net i\u0161leido laid\u0105 [2] skirt\u0105 robot\u0173 skambu\u010diams. Tai n\u0117ra paprasto balso \u012fra\u0161ai, kaip esame \u012fprat\u0119 gird\u0117ti paskambin\u0119 paslaug\u0173 numeriu ir tada paspaud\u0119 pvz. trejet\u0105. Min\u0117toje laidoje aptariamuose skambu\u010diuose robotai reaguoja labai \u012ftikinamu balsu \u012f tai, k\u0105 mes pasakome. Atskirti, kad skambina robotas (kompiuteris) galima, ta\u010diau tai u\u017etrunka (reikia pasukti galv\u0105, ko paklausti). Tenka arba aukoti savo laik\u0105, arba neatsakin\u0117ti ne\u017einomiems numeriams.<\/p>\n

Mokslo pasaulyje garsiai nuskamb\u0117jo GPT-2 modelio nepublikavimo atvejis. OpenAI organizacija, suk\u016brusi \u0161\u012f kalbos model\u012f, nusprend\u0117 jo nei\u0161leisti (nors pa\u010dios organizacijos pavadinimas sako k\u0105 kita). Prie\u017eastis \u2013 GPT-2 modelis pasirod\u0117 \u201eper geras\u201c. Teigta, kad \u017emon\u0117s jo sugeneruot\u0105 tekst\u0105 neatskirs nuo tikr\u0173 \u017emoni\u0173 para\u0161yto. Baimintasi, kad su \u0161iuo modeliu melaging\u0173 naujien\u0173 suk\u016brimas gali tapti labai greitu vieno \u017emogaus darbu. Nepaisant \u0161i\u0173 baimi\u0173, pasirod\u0117 dar \u201ebaisesni\u0173\u201c kit\u0173 modeli\u0173 ir GPT-2 dabar yra jau laisvai prieinamas.<\/p>\n

Dabar pla\u010diau apie b\u016btent \u0161\u012f model\u012f. GPT-2 modelis [3] yra tikrai ne \u017eaisliukas. Remiasi vos 2017 m. sukurta Transformerio architekt\u016bra [4]. Turi net 1,5 mlrd. parametr\u0173. Modelis apmokytas su 8 milijonais kokybi\u0161k\u0173 \u017einiatinklio puslapi\u0173. Pats apmokymas truko vir\u0161 2000 TPU (angl. Tensor Processing Unit<\/em>, vaizdo plok\u0161t\u0117s GPU \u201cgiminaitis\u201d) dien\u0173 [5]. Apmokyti tokio lygio model\u012f i\u0161 viso gali kainuoti vir\u0161 60000 doleri\u0173 [6] (o kur dar i\u0161laidos testavimams ir t. t.). \u0160\u012f model\u012f galima i\u0161bandyti internete [7] (keli pavyzd\u017eiai pateikti \u017eemiau paveiksl\u0117liuose). Tereikia suvesti savo pradin\u012f tekst\u0105 (angl\u0173 kalba) ir nurodyti, kad toliau tekst\u0105 generuot\u0173 GPT-2. Patys \u012fvertinkite, kaip tekst\u0105 generuoja modeliai. Pamatysite, kad nors ir da\u017enai sugeneruoja ri\u0161l\u0173 sakin\u012f, kartais i\u0161 didelio ra\u0161to i\u0161eina i\u0161 kra\u0161to. Si\u016blau perskaityti ir vien\u0105 geriausi\u0173 generavimo atvej\u0173 apie vienaragius, pateikt\u0105 adresu [3].<\/p>\n

Paveiksl\u0117liuose paduotas tekstas pary\u0161kintas, o modelio sugeneruotas yra nepary\u0161kintas [7].<\/p>\n

\"\"<\/figure>\n
\"\"<\/figure>\n
\"\"<\/figure>\n

\"\"<\/p>\n

Ten, kur \u0161ie modeliai dabar tikrai gerai veikia \u2013 tam tikros u\u017eduotys, kurioms jie yra specialiai apmokyti. Kaip pavyzdys \u2013 teksto suvokimo u\u017eduo\u010di\u0173 tekstynas RACE [8], sukurtas auk\u0161tosios mokyklos studentams. \u010cia pateikiami tokie klausimai, kaip \u201ekoks geriausias \u0161ios i\u0161traukos apib\u016bdinimas?\u201c, \u201ekoks buvo autoriaus po\u017ei\u016bris \u012f \u2026\u201c, \u201ekurie teiginiai yra neteisingi?\u201c, \u201ejei i\u0161trauka atsidurt\u0173 laikra\u0161tyje, kuri pastraipa b\u016bt\u0173 tinkamiausia?\u201c, \u201epirmas pa\u0161to \u017eenklas buvo pagamintas ___\u201c. \u0160io tekstyno klausimai buvo specialiai sukurti paruo\u0161ti kin\u0173 studentus stojimo \u012f auk\u0161t\u0105sias mokyklas egzaminams. Ar jums b\u016bt\u0173 tokie klausimai sunk\u016bs? Geriausi kalbos algoritmai atsako 89,4 % klausim\u0173 teisingai. Tai yra bene vienintelis tekstynas, kur \u017emon\u0117s dar pirmauja. Kitose u\u017eduotyse [9] kompiuteriniai algoritmai paprastus \u017emones jau seniai aplenkia.<\/p>\n

Kyla klausimas, kod\u0117l modeliams dar nepavyksta pilnai \u012ftikinti \u017emoni\u0173 savo pasakomis, bet \u0161tai tam tikrose u\u017eduotyse \u017emon\u0117s absoliu\u010diai aplenkiami? U\u017edaras sistemas su grie\u017etomis taisykl\u0117mis besimokantys algoritmai gali perprasti, ta\u010diau atviros sistemos (pvz. pokalbis su gyvu \u017emogumi), kaip teig\u0117 legendinis \u0161achmatininkas Garry Kasparov [10], yra per daug pla\u010dios. D\u0117l to dabartiniams algoritmams dar sunku sugeneruoti melagingas naujienas ar \u012ftikinti \u017emones. \u017dmon\u0117s yra tiesiog per daug universal\u016bs.<\/p>\n

Vis d\u0117lto, niekas ne\u017eino, kaip gali pasisukti kalbos modeli\u0173 tyrimai. Greitis, kuriuo vystosi \u0161i sritis, yra tiesiog \u012fsp\u016bdingas. \u017demiau pateikiu kada ir kokie kalbos modeliai atsirado, pralenk\u0119 iki tol buvusius. \u0160tai kokios lenktyn\u0117s vyksta:<\/p>\n

2018 spalio 11: BERT [11];
\n2019 vasario 14: GPT-2 [3];
\n2019 bir\u017eelio 19: XLNET [12];
\n2019 liepos 26: RoBERTa [13];
\n2019 rugs\u0117jo 26: ALBERT [14];
\n2019 spalio 23: T5 [15].<\/p>\n

Turb\u016bt jau supratote, kad kol kas dirbtinis intelektas mokosi tik angl\u0173 kalbos. I\u0161 \u012fdomesni\u0173 lietuvi\u0173 projekt\u0173 galima pamin\u0117ti nebent \u201cdirbtin\u012f idiot\u0105\u201d anonimin\u012f komentatori\u0173 \u201eArt\u016brka\u201c, kurio svetain\u0117 po dviej\u0173 met\u0173 jau nebeveikia. Ma\u0161ininio mokymosi mokslo pad\u0117tis Lietuvoje yra prilygintina \u201cpralaim\u0117tam pirmajam k\u0117liniui\u201d. Ta\u010diau nenusiminkime, nes i\u0161 ties\u0173 tik laiko klausimas, kada tur\u0117sime lietuvi\u0161ku \u017eod\u017eiu valdom\u0105 asistent\u0105, generuosime lietuvi\u0161k\u0105 tekst\u0105 ir vargins lietuvi\u0161k\u0173 robot\u0173 skambu\u010diai. Jei tik pakankamai \u012fsisavinsime angl\u0173 kalboje esan\u010dias technologijas, gal net jau ir kitas \u0161io teksto autoriaus darbas b\u016bt\u0173 \u2026 na taip tariant \u2026 ne visai \u0161io autoriaus.<\/p>\n

\u0160altiniai:<\/p>\n

[1] Google Duplex pristatymas. Prieiga per internet\u0105: https:\/\/youtu.be\/D5VN56jQMWM<\/a><\/p>\n

[2] Robocalls: Last Week Tonight with John Oliver (HBO). Prieiga internetu: https:\/\/youtu.be\/FO0iG_P0P6M<\/a><\/p>\n

[3] RADFORD, Miles, et al. Better Language Models and Their Implications. Prieiga per internet\u0105: https:\/\/openai.com\/blog\/better-language-models\/<\/a><\/p>\n

[4] VASWANI, Ashish, et al. Attention is all you need. In: Advances in neural information processing systems. 2017. p. 5998-6008.<\/p>\n

[5] MANNING, Chris. Modeling contexts of use: Contextual Representations and Pretraining. Prieiga per internet\u0105: http:\/\/web.stanford.edu\/class\/cs224n\/slides\/cs224n-2019-lecture13-contextual-representations.pdf<\/a><\/p>\n

[6] The Staggering Cost of Training SOTA AI Models. Prieiga per internet\u0105: https:\/\/syncedreview.com\/2019\/06\/27\/the-staggering-cost-of-training-sota-ai-models\/<\/a><\/p>\n

[7] GPT-2 modelio vartotojo s\u0105saja. \u017di\u016br\u0117ta 2019-11-24. Prieiga per internet\u0105: https:\/\/talktotransformer.com\/<\/a><\/p>\n

[8] RACE skaitymo suvokimo u\u017eduo\u010di\u0173 tekstynas. Prieiga per internet\u0105: http:\/\/www.qizhexie.com\/data\/RACE_leaderboard.html<\/a><\/p>\n

[9] GLUE kalbos modeli\u0173 u\u017eduotys. Prieiga per internet\u0105: https:\/\/gluebenchmark.com\/tasks<\/a><\/p>\n

[10] Artificial Intelligence (AI) Podcast. Garry Kasparov: Chess, Deep Blue, AI, and Putin. Prieiga per internet\u0105: https:\/\/youtu.be\/8RVa0THWUWw<\/a><\/p>\n

[11] DEVLIN, Jacob, et al. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.<\/p>\n

[12] YANG, Zhilin, et al. XLNet: Generalized Autoregressive Pretraining for Language Understanding. arXiv preprint arXiv:1906.08237, 2019.<\/p>\n

[13] LIU, Yinhan, et al. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.<\/p>\n

[14] LAN, Zhenzhong, et al. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.<\/p>\n

[15] RAFFEL, Colin, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.<\/p>\n","protected":false},"excerpt":{"rendered":"

\u0160\u012f ra\u0161in\u012f KTU informatikos doktorantas Lukas Stankevi\u010dius para\u0161\u0117 2019 m. mokslo populiarinimo ra\u0161ini\u0173 konkursui. Primename, kad pana\u0161i\u0173 ra\u0161ini\u0173, publikuoti \u0161iame puslapyje laukiame nuolatos. Juos si\u0173skite: rasiniai@mokslosriuba.lt Lukas Stankevi\u010dius \u0160altinis: MarkGregory007, […]<\/p>\n","protected":false},"author":2,"featured_media":5082,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"_themeisle_gutenberg_block_has_review":false,"footnotes":""},"categories":[8],"tags":[50,76,106],"class_list":["post-4958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-rasiniai","tag-dirbtinis-intelektas","tag-google","tag-kompiuterija","pb-post","pb-item","pb-col-xl-4 pb-col-m-6 pb-col-s-12","pb-animate pb-animated "],"aioseo_notices":[],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/posts\/4958","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/comments?post=4958"}],"version-history":[{"count":0,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/posts\/4958\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/"}],"wp:attachment":[{"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/media?parent=4958"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/categories?post=4958"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/mokslosriuba.lt\/kartumesgalime\/wp-json\/wp\/v2\/tags?post=4958"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}