Umělá inteligence „diagnostikovala“ smyšlenou nemoc. A experti ji citovali
Pálí vás oči z monitoru a máte zarudlá víčka? Ještě před pár dny by vám umělá inteligence (AI) vysvětlila, že možná trpíte „bixonimanií“. Tato choroba sice neexistuje, ale znepokojivě odhaluje nejenom to, že AI je schopna šířit nepravdy, protože nerozezná fakt od vtipu (což už víme), ale že ani odborníci neověřují její informace.
Nástroje AI jako ChatGPT, Gemini nebo Copilot v posledních asi dvou letech varovaly před oční nemocí bixonimanií. Jenže tato „vzácná choroba způsobená modrým světlem“ je kompletním výmyslem. Přišla s ním Almira Osmanovic Thunströmová, lékařská výzkumnice z univerzity v Göteborgu. Kombinovala promyšlený podvod s legrací, za kterou by se nemusel stydět ani Jára Cimrman. Omluvou jí budiž, že chtěla otestovat, jestli velké jazykové modely (LLM) dokážou do své databáze nasát záměrnou dezinformaci.
Začátkem roku 2024 Osmanovic Thunströmová vložila dva nepravdivé články o výzkumech nemoci bixonimanie do databáze Preprints.org. V ní vědci mohou publikovat předběžné výsledky svých výzkumů. Zdejší texty nejsou ještě odborně recenzovány, autor je vlastně dává k případné odborné diskusi, ve vědě se neberou moc vážně.
České firmy přecházejí od experimentů k reálnému využití umělé inteligence (AI). Klíčová fáze – skutečná transformace – je ale teprve před nimi. Ukazují to výsledky průzkumu společnosti Deloitte realizovaného ve spolupráci s Českou asociací umělé inteligence.
Průzkum: Kdo zvládne AI, vyhraje. Většina firem je ale teprve na startu
Zprávy z firem
Neexistující autor podporovaný ze Star Treku
Osmanovic Thunströmová využila svých znalostí umělé inteligence a publikované studie upravila formálně tak, aby působily věrohodně. Současně ale přímo do textu zadala dost do očí bijících důkazů, že něco není v pořádku.
Zvolila název oční nemoci bixonimánie, což je divné, protože mánie je psychiatrický termín, nesouvisí se zrakem. Jako autora uvedla neexistujícího vědce jménem Lazljiv Izgubljenovic s fotografií generovanou AI, který prý působí na Asteria Horizon University v kalifornském městě Nova City. Neexistuje ani taková univerzita, ani město.
A aby toho nebylo málo, přímo v textu zmínila, že studie je „vymyšlená“, že byla uskutečněna na „vymyšlených osobách“. Poděkování neexistujícího autora směřovalo k Akademii Hvězdné flotily (ze Star Treku), laboratoři na palubě USS Enterprise, jisté nadaci za financování pokročilých triků a také Univerzitě Společenstva prstenu a Galaktické triády.
Prostě: kdo některou ze studií opravdu četl, musel poznat, že tohle prostě není myšleno vážně.
Kalifornský startup Akido Labs testuje ve svých klinikách systém umělé inteligence, který do velké míry nahradí drahou práci lékaře. Navíc by měl zkrátit dobu, kterou pacient musí čekat na vyšetření a jež někdy dosahuje i několika měsíců.
Umělá inteligence v lékařské ordinaci: Pacient lékaře někdy ani neuvidí
Enjoy
„Ulovení“ vědci
Almira Osmanovic Thunströmová ještě odkazy na studie umístila na sociální sítě. A bylo políčeno. Velké jazykové modely AI skutečně zareagovaly a začaly lidem „diagnostikovat“ neexistující oční bixonimánii. Doporučovaly návštěvu očního lékaře a vyhledávač Perplexity AI dokonce uvedl, že nemoc zasáhla 90 tisíc lidí (což vymyšlené články vůbec netvrdily, tady AI halucinovala sama za sebe).
Ale nejenom to. „Zabrali“ i opravdoví vědci, odkazy na neexistující nemoc se objevily v jednom recenzovaném odborném periodiku a na několika preprintových webech. Dnes už jsou tyto články staženy, protože Osmanovic Thunströmová vyšla s pravdou ven.
V zatím nejrozsáhlejší studii svého druhu pomáhala umělá inteligence radiologům vyhodnocovat snímky z mamografu. Ukázalo se, že zvyšuje úspěšnost v odhalování nádorů. Postupně se zřejmě otevírají možnosti, jak může umělá inteligence vstoupit do zdravotnictví a vylepšit ho.
Umělá inteligence pomohla lékařům lépe najít nádory: přijde s ní do ordinací užitečná změna?
Enjoy
AI má kontrolovat AI
Poučení?
Někteří účastníci internetových debat kritizovali autorku, že se dopustila podvodu ve vědecké publikaci, což je neobhajitelné. Většina účastníků debat však její čin ocenila jako varování před tím, jak snadno se dá AI opít rohlíkem a zneužít pro falešnou vědu. A potenciálně třeba pro výrobce ochranných brýlí, který by si takto mohl zajistit „vědecké“ doporučení svého výrobku.
Lékař a informatik John Lee z Loyolské univerzity v Chicagu k tomu přiznal totéž, co dělá spousta dalších odborníků: také si nechává dělat shrnutí odborné literatury od AI. „Je to racionální adaptace na iracionální objem informací,“ uvedl s odkazem na to, že ve světě vědy přibývá tolik odborných textů, že je nejde přečíst a posoudit použité zdroje, postupy a vyvozené závěry. Proto používá nástroje jako NotebookLM nebo Perplexity, aby mu dělaly shrnutí, které si pak teprve přečte. Práci, která by mu zabrala týden tvrdého studia, zvládne za odpoledne. Pravda, s rizikem, že se nechá napálit nebo dokonce podvést.
Doktor Lee si nemyslí, že je možné se bez AI obejít. Podporuje proto myšlenku, že by pro vyhodnocování informací měly souběžně existovat dva modely: jeden informace zpracovává, druhý, nezávislý, hodnotí faktickou přesnost výsledků prvního modelu. Potíž je v tom, že vývoj jde tak rychle dopředu, že než se pro nějaký postup vytvoří „kontrolor“, je už původní postup překonaný něčím jiným.
A tak vědci, kteří mají vcelku uznávaná pravidla pro práci s fakty, tápou, když se snaží vyhnout dezinformacím. A co má teprve dělat běžná veřejnost, která s fakty pracuje ještě mnohem hůř?
Někteří investoři začínají pochybovat o vysokém ocenění americké společnosti OpenAI, které podle nich dosahuje až 852 miliard dolarů (17,6 bilionu korun). Uvedl to deník Financial Times s odvoláním na nejmenované zdroje z řad finančních podporovatelů firmy. Kritici upozorňují, že společnost se stále více zaměřuje na firemní zákazníky, kde ale čelí rostoucí konkurenci ze strany firem Anthropic a Google.
Je OpenAI nadhodnocená? Investoři začínají pochybovat
Trhy
VYŠEL JARNÍ NEWSTREAM CLUB
Soukromí je nový luxus. A možná i nejcennější dovednost dneška.
Jarní vydání magazínu Newstream CLUB se zaměřuje na téma, které dnes řeší miliardáři i běžní lidé – jak si uchovat vlastní prostor v době, kdy jsme neustále online. Soukromé kluby, tiché byty, digitální detox i život na očích veřejnosti.
V novém čísle přinášíme rozhovory s Vendulou Pizingerovou, youtuberem Tarym nebo zakladatelem Smarty.cz Petrem Syrůčkem. Nechybí inspirace ze světa byznysu, stylu ani cestování – a také konkrétní tipy, jak si soukromí znovu vzít zpět.
Jedenácté vydání čtvrtletníku Newstream CLUB je v prodeji na stáncích i v online distribuci Send, kde je možné titul také předplatit. Digitální verzi magazínu lze zakoupit přímo na webu newstream.cz.
Na další číslo magazínu se můžete těšit v červnu.