Šmejdí, kde nemá. OpenAI kvůli chování agentů pozastavila trénování nových modelů AI
Americká společnost OpenAI pozastavila trénování svých nejnovějších modelů umělé inteligence (AI). Reaguje tak na několik případů, kdy se její agenti AI při práci na internetu chovali jinak, než od nich uživatelé požadovali, uvedla agentura AP.
OpenAI v pátek uvedla, že prověřuje několik incidentů z letošního léta. Při nich její agenti AI prohledávali internetové stránky americké federální vlády, ale při získávání a šíření informací podnikli kroky, které společnost neočekávala a které přesahovaly zadané úkoly.
V nejnovějším příspěvku na svém blogu pak firma oznámila, že se jednomu modelu AI v rámci testu podařilo získat odpovědi od externího chatbota, ačkoliv tento chatbot neměl mít přístup k internetu. Software ale našel a využil mezeru v síťových nastaveních.
ChatGPT zachytil znepokojivé rozhovory o násilí. Bezpečnostní tým OpenAI označil účet budoucí střelkyně za rizikový. Policie se ale varování nedočkala. Po únorovém útoku na kanadskou školu, při němž zemřelo osm obětí a samotná útočnice, teď Britská Kolumbie žaluje OpenAI i jejího šéfa Sama Altmana. Tvrdí, že tragédii bylo možné zabránit, a požaduje peníze na obnovu školy i změnu bezpečnostních postupů.
OpenAI věděla o hrozbě, policii nevarovala. Po střelbě ve škole čelí žalobě i Altman
Zprávy z firem
Společnost Transluce, která testuje a hodnotí chování systémů AI, v samostatném sdělení uvedla, že agenti, kteří podle ní pocházeli z OpenAI, se neúspěšně pokusili proniknout na web amerického ministerstva školství. OpenAI tuto informaci nepotvrdila.
OpenAI uvedla, že v trénování nových modelů bude pokračovat až poté, co zavede další bezpečnostní opatření. Zároveň připustila, že s dalším vývojem AI může být nutné její trénování znovu pozastavit, pokud se objeví nové problémy. Trénování je fáze vývoje, při níž se model učí z velkého množství dat a upravují se jeho parametry, aby se zlepšily jeho schopnosti.
Obavy ze ztráty kontroly
Je to už podruhé za tři měsíce, co OpenAI trénování svých modelů pozastavila. Poprvé to bylo v červenci po odhalení kybernetického útoku namířeného proti start-upu Hugging Face, který se zabývá umělou inteligencí. Tento incident vyvolal obavy, že vývojáři AI ztrácejí nad technologií kontrolu.
Umělá inteligence (AI) by mohla způsobit smrt miliardy lidí, řekl americké stanici NBC Bill Gates. Spoluzakladatel Microsoftu se proto přimlouvá za právní regulaci této technologie.
AI ve špatných rukou může stát miliardu životů, varuje Gates
Leaders
Na vývojáře AI tlačí zákonodárci i odborníci z odvětví vyspělých technologií. Navrhují zpomalit vývoj AI a věnovat více času vytvoření bezpečnostních opatření. Ta mají zabránit agentům AI v tom, aby samostatně podnikali nechtěné kroky, pokoušeli se pronikat na internetové stránky nebo zveřejňovali neveřejné informace.
Ke zpomalení vývoje vyzvali také šéfové společností OpenAI a jejího konkurenta Anthropic.
Umělá inteligence Googlu měla při bezpečnostním testu vyhledávat informace. Místo toho uhodla heslo skutečné firmy a pronikla do jejího systému. Gemini se během květnového testování dostal celkem do systémů tří společností, informovala agentura Bloomberg. Incidenty znovu otevřely debatu o tom, jak zajistit, aby autonomní AI agenti nepřekračovali hranice svých úkolů.
Další přešlap AI. Gemini měl hledat informace, místo toho pronikl do systémů tří firem
Zprávy z firem
Zdá se, že nejnovější incidenty kolem OpenAI nezahrnovaly únik žádných neveřejných informací. Byly ale natolik znepokojivé, že firma varovala příslušné federální agentury.
Šéf OpenAI Sam Altman v pátek na sociálních sítích uvedl, že incident spojený s Hugging Face je podle něj stále nejzávažnějším případem, s jakým se společnost setkala. OpenAI už dříve zveřejnila šest dalších případů „nečekaného nebo znepokojivého“ chování svých modelů a zavedla systém pro sledování, prověřování a zveřejňování podobných incidentů.
Největší rivalové v umělé inteligenci hledají společnou řeč. OpenAI jedná s Anthropicem a Googlem o bezpečnosti AI v době, kdy bývalí výzkumníci varují před jejími krajními riziky. Donald Trump ale přísnější regulaci odmítá.
Strach z AI spojuje rivaly. OpenAI, Anthropic a Google hledají společnou pojistku
Zprávy z firem
VYŠEL PODZIMNÍ NEWSTREAM CLUB
Lepší život jako téma čísla
Změna k lepšímu je jedním z témat aktuálního vydání magazínu Newstream CLUB. Šířeji pak je tématem longevity, nebo obecněji lepší život. A to nejen každého konkrétního člověka, ale také společnosti nebo firem.
Na obálce magazínu je hvězdný šéfkuchař Radek Kašpárek. Radek Kašpárek je nový člověk, alespoň to říká v titulním rozhovoru. „Byl jsem prudší, výbušnější, taková neřízená střela. Celkově jsem se časem zklidnil, dostal se do větší pohody a tím se ve mně uklidnilo i ego,“ říká.
V novém magazínu tak čtenáři najdou například rozhovor s Pavlem Loudou. Jeho jméno patří k synonymům tuzemského vozoparku, protože je jedním z nejúspěšnějších prodejců aut u nás. Ale zároveň koupil také sklárny, v nichž pracovali jeho rodiče, investoval do nich stamiliony a dnes již může zhodnotit, jak se tato investice vyplatila.
Na rady rodičů vzpomíná také Barbara Paldus, dcera českých emigrantů, která se narodila v Kanadě, uspěla v Silicon Valley a dnes vyrábí kosmetiku, jež vychází z přírodních tradic, ale je podpořená high-endovou vědou. „Na magii sice nevěřím, ale umím věřit věcem, které zatím neumíme vysvětlit,“ říká vědkyně.
A o to, jak razantně změnit život po šedesátce, se podělí Hana Janata, lékařka, která v 55 začala profesionálně tančit a po šedesátce se stala modelkou. A spolupracuje s nejprestižnějšími značkami světa.
Třinácté vydání čtvrtletníku Newstream CLUB je v prodeji, distribuci zajišťuje Send. Digitální verzi magazínu lze zakoupit přímo na newstream.cz.
