AI se vymkla kontrole. OpenAI přiznala další znepokojivé případy
Zatajování informací, pokusy obcházet omezení či vymyšlená data. OpenAI zveřejnila dosud nepopsané případy, kdy se její modely chovaly jinak, než jejich tvůrci zamýšleli. Firma proto zavádí nový systém pro sledování podobných incidentů, a to v době, kdy i technologické špičky stále hlasitěji varují před rostoucími a obtížně předvídatelnými riziky umělé inteligence.
OpenAI zveřejnila několik dosud nepopsaných případů, kdy se její modely umělé inteligence chovaly jinak, než jejich tvůrci zamýšleli. Technologie například zatajovaly informace, doplňovaly chybějící data smyšlenými údaji nebo se pokoušely obejít síťová omezení. Informovala o tom agentura Bloomberg.
V jednom z případů si mezi sebou AI agenti předávali soubory, které měli uchovat jako soukromé. Podle OpenAI šlo o situace, kdy se modely snažily dokončit zadaný úkol nebo uspět při testování i za cenu chování, které nebylo v souladu s očekáváním lidí.
Firma proto zavádí nový systém pro sledování a zveřejňování takových incidentů. Zaměstnanci mají mít možnost případy takzvaného nesouladu sami hlásit a společnost je následně bude vyhodnocovat podle jejich závažnosti.
OpenAI zároveň připustila, že dosavadní informování o podobných problémech nebylo dostatečně systematické. Dosud podle ní byly zveřejňované případy spíše nahodilé a objevovaly se méně často, než by bylo žádoucí.
Vrcholí éra venture kapitálového financování startupů. Po dvou dekádách soukromý kapitál dokáže vytvořit bilionovou firmu ještě před jejím vstupem na burzu. Vedle SpaceX se to daří také AI firmám, jejichž budoucnost je přitom nyní nejistá. Přesto odborníci poukazují na to, že nemusí jít o růst iracionální bubliny.
Nová éra bilionových startupů je tu. Rostou investice, očekávání i nerovnost
Trhy
Nejde o úplný seznam problémů
Společnost zdůraznila, že zveřejněné případy představují pouze první soubor incidentů a nejde o kompletní přehled všech problémů, které se u jejích chatbotů objevily.
Žádný z nově popsaných případů podle OpenAI nevedl k hackerskému útoku nebo průniku do systému jiné společnosti. Firma je ale pod zvýšeným dohledem od července, kdy oznámila, že některé její nejpokročilejší modely pronikly do systémů softwarové společnosti Hugging Face.
Podobné bezpečnostní incidenty se v poslední době týkaly také modelů společností Anthropic a Meta. Podle Bloombergu tak dál sílí obavy z toho, jaká rizika mohou stále schopnější systémy představovat.
OpenAI: Bezpečnost ještě vyřešená není
OpenAI současně připustila, že celé odvětví ještě nemá problém bezpečného sladění umělé inteligence s lidskými cíli pod kontrolou. „Nevěříme, že odvětví umělé inteligence už vyřešilo problém sladění a monitorování do takové míry, aby bylo možné ještě dlouho zodpovědně pokračovat ve vývoji maximální rychlostí,“ uvedla firma.
Podle OpenAI musí další rozhodování o tempu vývoje vycházet z důkazů, které budou moci posuzovat také lidé mimo společnosti vyvíjející nejpokročilejší modely.
Největší rivalové v umělé inteligenci hledají společnou řeč. OpenAI jedná s Anthropicem a Googlem o bezpečnosti AI v době, kdy bývalí výzkumníci varují před jejími krajními riziky. Donald Trump ale přísnější regulaci odmítá.
Strach z AI spojuje rivaly. OpenAI, Anthropic a Google hledají společnou pojistku
Zprávy z firem
Technologické špičky se přou o brzdu
Debata o bezpečnosti AI v posledních dnech výrazně zesílila. Bývalý zaměstnanec Anthropicu Jacob Coxon při svém odchodu obvinil technologické firmy, že „hazardují s našimi životy“.
Šéf Anthropicu Dario Amodei následně vyzval k vládní regulaci a širšímu zpomalení vývoje umělé inteligence. Generální ředitel OpenAI Sam Altman a šéf Nvidie Jensen Huang připustili rizika, podle nich ale technologické společnosti dokážou tempo vývoje řídit samy.
Šéf společnosti Meta Mark Zuckerberg zase prosazuje využívání nezávislých hodnotitelů a poradců, kteří by bezpečnost modelů kontrolovali.
Americký prezident Donald Trump naopak výzvy ke zpomalení vývoje odmítl. Obavy z rizik AI označil za „podvod“ a postavil se proti novým pravidlům.
Spor má i výrazný ekonomický rozměr. Boom kolem umělé inteligence podpořil historický růst amerického akciového trhu a investoři sázejí na stovky miliard dolarů nových investic. Jakékoli výraznější zpomalení vývoje nejpokročilejších modelů by proto finanční trhy přijímaly velmi citlivě.
VYŠEL LETNÍ NEWSTREAM CLUB
Sázky na růst Česka se vyplácejí. Potvrzují to lidé různých oborů a zájmů, s nimiž se můžete potkat při čtení aktuálního vydání magazínu Newstream CLUB. Česko má totiž obří potenciál, který se daří čím dál více využívat. Platí to pro investory, globální i lokální firmy, ale také pro tuzemský realitní trh. Jak se na vlně zájmu svézt, poradí letní vydání magazínu.
Na obálce magazínu jsou sourozenci se Sara a Teo Sandevovi, kteří patří ke generaci, která už nemusí volit mezi původem a zemí, kde vyrostla. Ona jde hereckou cestou, on spojuje fotbal, studium a rodinný byznys. Oba ale dobře vědí, že jejich největší výhodou je právě mix českého zázemí a balkánských kořenů.
Aktuální vydání se věnuje právě sázkám na Česko z mnoha pohledů: z pohledu investorů drobných i institucionálních, ale i z pohledu lidí, kteří se snaží zemi posunout dál. K nim patří například Petr Dvořák, který shání soukromé prostředky na spolufinancování stavby nové pražské filharmonie, nebo investor Marek Dospiva.
Česko se také stává čím dál větším lákadlem pro zahraniční firmy, které zde mají vývojová centra. Důvodů je celá řada, ale klíčové jsou pro globální firmy tři věci: vhodná geografická poloha, bezpečnost, a hlavně silné technické zázemí, díky kterému tu mohou pracovat na nejpokročilejších inovacích.
To potvrzuje například šéf globální technologické společnosti Everpure Charlie Giancarlo, který působil v největších firmách světa, stál u zrodu internetu a nyní se věnuje datovým úložištím. Rozhovor s ním také přináší letní vydání magazínu Newstream CLUB.
A rostoucí zájem nadnárodních firem o možnost působit v Česku potvrzuje také Tomáš Partsch z CTP, který vysvětluje, jak se z Brna stává evropské Silicon Valley.
Dvanácté vydání čtvrtletníku Newstream CLUB je v prodeji, distribuci zajišťuje Send. Digitální verzi magazínu lze zakoupit přímo na newstream.cz.
