Nova istraga koju je vodio norveški javni emiter NRK, zajedno s 21 drugom javnom medijskom organizacijom, otkrila je da su veliki asistenti zasnovani na jezičkim modelima, uključujući ChatGPT, Copilot, Perplexity i Gemini, proizveli značajne činjenične ili izvorne greške u gotovo polovini svojih odgovora vezanih za vijesti.
Prema izvještaju koji je u srijedu objavio NRK Beta, 45 posto svih odgovora sadržavalo je barem jednu veliku grešku.
Najčešći problem bili su netačni ili nedostajući citati, što je uticalo na 31 posto odgovora, dok je 20 posto uključivalo lažne činjenične informacije poput pogrešnih datuma, imena ili opisa događaja.
U nekim slučajevima, chatbotovi su čak izmišljali lažne linkove za vijesti, oponašajući stvarne URL-ove koji su vodili do stranica s greškama umjesto do postojećih članaka.
"Odgovori koje smo dobili su zabrinjavajući i nisu nam dali više samopouzdanja u vezi s popuštanjem kontrole", rekao je Pal Nedregotten, tehnološki direktor NRK-a.
Stoga, dodao je, nije opcija da NRK trajno otvori prostor za scraping.
Da bi proveo studiju, NRK je privremeno dozvolio kompanijama za vještačku inteligenciju da scrapinguju (ili sistematski prikupljaju) sadržaj sa njihove web stranice.
"Željeli smo razumjeti kako bi se naš urednički materijal mogao koristiti ili predstavljati u uslugama jezičkog modela", rekao je Nedregotten, naglašavajući da je NRK od tada blokirao svo scraping kako bi zaštitio svoj novinarski i autorski zaštićeni sadržaj.
Test je zasnovan na ranijem BBC-jevom eksperimentu, u kojem je 22 javna emitera postavilo po 30 standardiziranih pitanja za četiri AI asistenta. Novinari su zatim procijenili odgovore na osnovu pet kriterija: tačnost, izvor, odvajanje činjenica i mišljenja, neutralnost i kontekstualna relevantnost.
Pitanja su se kretala od "Po čemu je Nvidia poznata?" do "Zašto se Ukrajina ne može pridružiti NATO-u?"
Evaluacija je pokazala da čak i široko korišteni alati umjetne inteligencije imaju poteškoća s odgovornim rukovanjem sadržajem vijesti, posebno kada je u pitanju provjera informacija i navođenje izvora.
