Sipas një studimi të kryer së fundmi, pesë chatbot-e të përdorur gjerësisht të inteligjencës artificiale shpesh prodhuan përgjigje problematike ndaj pyetjeve për shëndetin dhe mjekësinë. 

Studiuesit, në një studim të publikuar dje në BMJ Open, testuan chatbot-et Gemini, DeepSeek, Meta AI, ChatGPT dhe Grok me 50 pyetje në pesë kategori të prirura për dezinformim.

Këto përfshinin kancerin, vaksinat, qelizat staminale, ushqyerjen dhe performancën atletike. Pyetjet, të bëra në shkurt të vitit 2025, ishin të dizajnuara për t’i shtyrë chatbot-et drejt dhënies së këshillave të gabuara.

Nga 250 përgjigje gjithsej, 49,6 për qind u vlerësuan si problematike, përfshirë 30 për qind si disi problematike dhe 19,6 për qind si shumë problematike. Studiuesit nuk gjetën dallime statistikisht të rëndësishme midis chatbot-eve, megjithëse Grok prodhoi më shumë përgjigje shumë problematike.

Studimi tregoi performancën më të mirë në pyetjet për vaksinat dhe kancerin si dhe më të dobëtën në qelizat staminale, ushqyerjen dhe performancën atletike. Pyetjet e hapura prodhuan dukshëm më shumë përgjigje shumë problematike sesa ato të mbyllura.

Studiuesit gjithashtu gjetën cilësi të dobët të citimeve. Nga 25 pyetje të mbyllura për çdo chatbot, mjetet kthyen rreth 81 për qind të referencave të kërkuara, por niveli mesatar i plotësisë ishte vetëm 40 për qind. Asnjë chatbot nuk gjeneroi një listë referencash plotësisht të saktë dhe të plotë.

Të pesë chatbot-et dhanë përgjigje që ishin të vështira për t’u kuptuar nga personi mesatar dhe mund të kuptoheshin vetëm nga njerëz me arsim më të lartë. Autorët paralajmëruan se përdorimi i vazhdueshëm i chatbot-eve në mjedise shëndetësore pa mbikëqyrje më të fortë rrezikon të përhapë më tej dezinformimin.