Nuo 2022 m. pabaigoje pasirodžius „ChatGPT“, milijonai žmonių pradėjo naudoti didelius kalbos modelius (LLM), kad greitai pasiektų jiems reikalingas žinias. Jų patrauklumas akivaizdus: užduodi klausimą, gauni tvarkingą, aiškią santrauką ir eini toliau – atrodo, tarsi mokymasis vyktų be pastangų.
Tačiau naujame mano bendraautorių ir mano pačios moksliniame darbe pateikiami eksperimentiniai įrodymai, kad toks lengvumas gali turėti kainą: kai žmonės remiasi LLM, kad šie jiems apibendrintų informaciją apie tam tikrą temą, jie linkę įgyti paviršutiniškesnių žinių, palyginti su mokymusi naudojantis įprasta „Google“ paieška.
Šią išvadą, paremtą septyniais tyrimais su daugiau nei 10 000 dalyvių, kartu su bendraautoriumi Džin Ho Junu (Jin Ho Yun) – abu esame rinkodaros profesoriai – pristatėme naujame moksliniame straipsnyje.
Kaip buvo atliekami tyrimai?
Daugumoje tyrimų naudotas tas pats pagrindinis scenarijus: dalyvių buvo paprašyta pasimokyti apie tam tikrą temą, pavyzdžiui, kaip įsirengti daržą. Atsitiktinės atrankos būdu vieni dalyviai informaciją rinko naudodamiesi LLM (pvz., „ChatGPT“), o kiti – „senuoju būdu“, naršydami nuorodas per įprastą „Google“ paiešką.
Jokie apribojimai nebuvo taikomi: dalyviai galėjo kiek panorėję naudotis „Google“, o taip pat toliau klausinėti LLM, jei manė, kad jiems reikia daugiau informacijos.
Baigę mokytis, dalyviai turėjo, remdamiesi įgytomis žiniomis, parašyti patarimus draugui nagrinėta tema.
Surinkti duomenys atskleidė nuoseklų dėsningumą: žmonės, kurie apie temą mokėsi naudodamiesi LLM, o ne žiniatinklio paieška, jautėsi išmokę mažiau, skyrė mažiau pastangų rašydami patarimus ir galiausiai parašė patarimus, kurie buvo trumpesni, mažiau faktų pagrįsti ir bendresnio pobūdžio.
Vėliau šiuos patarimus pateikėme kitai, nepriklausomai dalyvių grupei, kuri nežinojo, kokia priemone – LLM ar „Google“ – buvo naudotasi mokantis. Ši grupė patarimus vertino kaip mažiau informatyvius, mažiau naudingus ir nurodė, kad yra mažiau linkusi jų laikytis.
Šie skirtumai išliko reikšmingi įvairiuose kontekstuose. Pavyzdžiui, viena galima priežastis, kodėl LLM naudotojų parašyti patarimai buvo trumpesni ir bendresni, galėtų būti ta, kad LLM atsakymai pateikė siauresnį informacijos spektrą nei „Google“ rezultatai.
Siekdami šį veiksnį suvaldyti, atlikome eksperimentą, kuriame dalyviams buvo pateiktas toks pats faktų rinkinys tiek „Google“, tiek LLM paieškos rezultatuose.
Kitame eksperimente išlaikėme tą pačią paieškos platformą – „Google“ – ir keitėme tik tai, ar dalyviai mokėsi iš įprastų „Google“ nuorodų, ar iš „Google“ funkcijos „AI Overview“ (dirbtinio intelekto apžvalgos) santraukų.
Atrastos tendencijos patvirtino, kad net ir tada, kai faktai ir platforma buvo vienodi, mokymasis iš LLM pateiktų santraukų lėmė paviršutiniškesnes žinias, palyginti su tuo, kai informaciją žmonės patys suranda, interpretuoja ir susintetina per įprastas žiniatinklio nuorodas.
Kodėl tai svarbu?
Kodėl LLM naudojimas, regis, silpnina mokymąsi? Vienas esminių įgūdžių formavimosi principų teigia, kad žmonės geriausiai mokosi tada, kai aktyviai įsitraukia į mokomąją medžiagą.
Mokantis per „Google“ paiešką, susiduriama su gerokai didesniu „trinties“ kiekiu: reikia naršyti skirtingus tinklalapius, skaityti šaltinius, juos interpretuoti ir patiems susisteminti.
Nors toks procesas sudėtingesnis, ši „trintis“ skatina susiformuoti gilesnį, originalesnį psichinį nagrinėjamos temos vaizdinį. Tuo tarpu LLM didžiąją šio darbo dalį atlieka už vartotoją, paversdami mokymąsi iš aktyvaus proceso į labiau pasyvų.
Kas toliau?
Aiškumo dėlei: mes nemanome, kad šių problemų sprendimas – visiškai atsisakyti LLM, ypač turint omenyje neginčijamą jų naudą daugelyje situacijų.
Veikiau mūsų žinutė tokia: žmonėms reikia tapti protingesniais ir strategiškesniais LLM naudotojais. Tai prasideda nuo supratimo, kokiose srityse LLM yra naudingi, o kuriose – gali trukdyti pasiekti užsibrėžtus tikslus.
Reikia greito, faktais pagrįsto atsakymo į konkretų klausimą? Drąsiai naudokitės mėgstamu dirbtinio intelekto įrankiu. Tačiau jei siekiate gilių, lengvai perkiriamų ir pritaikomų žinių tam tikroje srityje, vien remtis LLM santraukomis bus gerokai mažiau naudinga.
Vykdydama tyrimus apie naujų technologijų ir naujųjų medijų psichologiją, taip pat domiuosi, ar įmanoma padaryti taip, kad mokymasis per LLM būtų aktyvesnis. Kitame eksperimente tai tikrinome pasitelkdami specializuotą GPT modelį, kuris kartu su savo santraukų atsakymais pateikdavo ir nuorodas į šaltinius realiuoju laiku.
Vis dėlto paaiškėjo, kad vos tik dalyviai gaudavo LLM santrauką, jų motyvacija gilintis į pirminius šaltinius išblėsdavo. Dėl to jų žinios vis tiek likdavo paviršutiniškesnės, palyginti su tais, kurie naudojosi įprasta „Google“ paieška.
Remdamasi šiais rezultatais, ateityje planuoju tirti generatyvaus dirbtinio intelekto priemones, kurios sąmoningai įveda „naudingos trinties“ mokymosi procesuose. Ypač domina, kokios rūšies „saugikliai“ ar „greičio ribotuvai“ efektyviausiai skatina vartotojus aktyviai mokytis daugiau, o ne tenkintis lengvomis, parengtomis santraukomis.
Tikėtina, kad tokie įrankiai bus ypač svarbūs viduriniame ugdyme. Mokytojams čia kyla didelis iššūkis: kaip geriausiai padėti mokiniams išsiugdyti pagrindinius skaitymo, rašymo ir matematikos gebėjimus ir kartu pasirengti realiam pasauliui, kuriame LLM, ko gero, taps neatsiejama kasdienio gyvenimo dalimi.
