Yuqoridagi infografika Terzo kompaniyasining sönggi tadqiqotiga asoslangan bölib, turli modellar qay darajada tez-tez xatoga yöl qöyişini körsatadi.
«Gallyutsinatsiya»ga moyillikni baholaş uçun tadqiqotçilar yetakçi kompaniyalarning modellariga yangiliklar matnlaridan parçalar taklif qildi. Vazifa bir xil edi — asl maqolani, naşrini va uning URL-manzilini aniqlaş.
Tajriba şunday qurildiki, şu parçalar böyiça oddiy Google qidiruvi asl materialni birinçi uçta natija orasiga qaytargan. Keyin esa modellar javoblari aniqlik nuqtai nazaridan tekşirilgan.
Test ma’lumotlariga köra, Grok-3 eng yomon natijani körsatgan — 94 foiz holatda «gallyutsinatsiya»ga yöl qöygan. Perplexity esa aksinça, eng yuqori aniqlikni namoyon etgan.
Qiziği şundaki, modellarning pulli versiyalari köp holatda ularning bepul analoglariga qaraganda yomonroq işlagan. Va deyarli barça modellar xato qilayotgan paytida ham öz javobiga nisbatan şubha bildirmagan, ya’ni işonç bilan, qat’iy tonda notöğri ma’lumot bergan.
