Таржима дастурлари ёки чатботлар ўзбек тилида ҳам хатосиз ишлаши учун нима қилиш керак, бунинг учун қандай ёндашувлар талаб этилади? Германиянинг Кайзерслаутерн-Ландау университети магистранти Латофат Бобожонова айни шу каби саволларга жавоб топиш учун илмий изланиш олиб бормоқда. Kun.uz мухбири билан суҳбатда у компютернинг матн ёки нутқ орқали ўзбек тилини яхшироқ тушуниб, қониқарли жавоб қайтариши учун нималар етишмаётгани, Google’даги муаммоларга таклиф этган ечимлари ҳақида гапириб берди.
Латофат Бобожонова Тошкент шаҳридаги 266-мактабда таълим олган. Олий таълимнинг бакалавриат босқичини Тошкент ахборот технологиялари университетида дастурий муҳандислик йўналиши бўйича тамомлаган. Шундан сўнг DAAD халқаро стипендиясини ютиб, Германиянинг Кайзерслаутерн-Ландау университетига ўқишга кирган ва сўнгги бир ярим йилда мазкур даргоҳда илмий ходим сифатида фаолият юритган.
У ерда “Кам ресурсли агглутинатив тиллар учун трансформер моделларда морфологик маълумотли токенизаторлар таъсирини ўрганиш” мавзусида илмий иш олиб борган. Ёш олима кам тарқалган ва мураккаб тузилмали тилларда сунъий идрок яхши ишлаши учун сўзларни грамматик жиҳатдан тўғри ажратиш қанчалик муҳимлигини ўрганган. Хусусан, ўзбек тилида табиий тилни қайта ишлаш (NLP) функциясини такомиллаштиришни тадқиқ қилган.
“BERT, GPT, LLaMA, T5 каби катта тил моделларининг ўзбек тилида ишлашини яхшилаш борасида изландим. Тадқиқотлар шуни кўрсатдики, агар бу моделларни ўзбек тилидаги матнга сўзлар ёки оддий ҳарфлар кетма-кетлиги асосида эмас, балки морфемаларга ажратган ҳолда ўргатсак, уларнинг ўзлаштириш тезлиги 8 баробар ошади. Бу нимани англатади? Масалан, оддий ҳолатда моделни тўрт кунда тренировка қилиш керак бўлса, морфемаларга асосланган ёндашув билан ушбу жараён атиги ярим кунда якунланади. Натижада сиз нафақат вақт, балки маблағ ва электр энергиясини ҳам тежайсиз. Демак, бу экологик жиҳатдан ҳам фойдалидир. Энг муҳими, қисқа вақт ичида саволларга аниқ жавоб берадиган моделга эришиш мумкин бўлади”, – дейди у.
Латофатнинг айтишича, ўзбекча матнларини рақамли қайта ишлаш жараёнида ақлли тизимларнинг тил бирликларини аниқлай олиши қобилияти муҳим аҳамиятга эга. Чунки ўзбек тилида бир сўз бутун бир жумла функциясини бажариши ҳам мумкин.
“Масалан, “келмаганларданмисиз” деган сўз қандай сўз туркумига киради? Бу бирлик юкламами, феълми ёки бутун бир гап вазифасини бажараётган мураккаб бирикмами? Тадқиқот лойиҳамда айнан шу каби саволларга жавоб изладим. Берилган гапдаги ҳар бир сўзнинг от, феъл, сифат сингари қайси сўз туркумига мансублигини нейрон тармоқлар ёрдамида белгилаш функциясини такомиллаштириш таклифларини ишлаб чиқдим. Бундай тизимни яратиш учун аввало ўзбек тилининг лингвистик хусусиятларини чуқур ўргандим. Таҳлил қилишда асосий бирлик нима бўлиши керак — сўзми, морфемами ёки қўшимчами? Шуларни текширдим ва сунъий идрок моделлари учун керакли форматда маълумот тайёрлаш усулларини ёздим. Ўзбек тилининг мураккаблиги, яъни қўшимчалар орқали грамматик маъно ифодалаш тизими (агглутинатив тузилиши) жараённи бироз қийинлаштирди. Инглиз тилида бу каби мураккаблик камроқ учрайди”,
