Není prostor pro chyby. S AI zacházejme jako s jádrem, varuje expert
OpenAI přišel o dalšího člověka, který měl hlídat bezpečnost stále schopnější umělé inteligence. David Robinson z firmy odešel s nepříjemným vzkazem: technologičtí giganti podle něj ženou vývoj umělé kupředu rychleji, než dokážou zvládat jeho rizika. OpenAI prý příliš spoléhá na metodu pokus–omyl. U technologie, která už během testování dokázala obejít zabezpečení a proniknout do cizích systémů, to podle Robinsona přestává stačit.
David Robinson pracoval v bezpečnostním týmu OpenAI a zabýval se mimo jiné transparentností bezpečnostních opatření. Po odchodu z firmy popsal v časopise The Atlantic problém, který podle něj netrápí jen OpenAI, ale celý rychle rostoucí obor umělé inteligence.
Technologické firmy jsou podle něj zvyklé rychle vyvíjet, vypouštět produkty a následně opravovat chyby. Jenže čím schopnější AI vzniká, tím nebezpečnější může být takový přístup.
„Moji bývalí kolegové jsou chytří, tvrdě pracují a snaží se dělat správná rozhodnutí,“ uvedl Robinson. Problém podle něj spočívá v tempu firmy, která se žene od jednoho produktu ke druhému a nedosahuje takové úrovně pečlivosti, jakou považuje za nutnou.
Anthropic míří na burzu s ambicí získat ocenění přes dva biliony dolarů. Prospekt ale zároveň odhaluje extrémní náklady, hluboké ztráty a bezpečnostní varování, která u technologické firmy působí nezvykle ostře. Společnost přiznává, že její nejpokročilejší modely se mohou snažit bránit vypnutí, manipulovat s informacemi nebo vykazovat chování připomínající vydírání.
Anthropic jde na burzu s děsivým varováním. Její AI může ohrozit lidstvo a bránit se vypnutí
Trhy
AI jako jaderná elektrárna
Robinson proto sahá po nezvykle silném přirovnání. Vývoj pokročilé umělé inteligence by podle něj měl mít bezpečnostní kulturu podobnou jaderným elektrárnám nebo letectví – tedy systémy navržené tak, aby jedna lidská chyba nemohla otevřít cestu ke katastrofě.
Robinsonovy obavy přitom nejsou jen teoretické. V červenci se během interních bezpečnostních testů modelům OpenAI podařilo obejít omezení, získat přístup k internetu a proniknout do části systémů společnosti Hugging Face. Modely mimo jiné využívaly zranitelnosti infrastruktury a komunikovaly nepovolenými cestami.
Samotná OpenAI později incident označila za „varovný výstřel“ pro firmu i celý svět. Společnost zároveň uvedla, že zpřísňuje izolaci testovacích prostředí, omezuje přístup k internetu a posiluje monitoring i další bezpečnostní mechanismy.
Rychlost versus bezpečnost
Robinsonův odchod zapadá do širší debaty uvnitř AI průmyslu o tom, zda tempo vývoje nepředbíhá schopnost firem své modely kontrolovat. V poslední době odešlo z předních laboratoří více pracovníků zaměřených na bezpečnost, kteří veřejně upozornili na podobné obavy.
Robinson přitom netvrdí, že by jeho bývalí kolegové bezpečnost ignorovali. Kritizuje především kulturu, v níž rychlost vývoje a víra, že problémy lze průběžně opravovat, podle něj narážejí na stále větší schopnosti samotných modelů.
A právě tady leží jeho hlavní varování: metoda pokus–omyl funguje dobře, dokud cena omylu není příliš vysoká.
Někteří výzkumní pracovníci z oblasti AI dokonce varují, že rychlý rozvoj této technologie by mohl v nepříliš vzdálené budoucnosti vést k zániku lidského druhu.
Šéfové největších AI firem varují, že vývoj umělé inteligence začíná být příliš rychlý. Donald Trump ale zpomalování odmítá: podle něj si USA musí za každou cenu udržet náskok před Čínou, píše Financial Times.
Tech boys narazili u Trumpa. Chtějí zpomalit vývoj AI, prezident to odmítá kvůli Číně
Politika
VYŠEL PODZIMNÍ NEWSTREAM CLUB
Lepší život jako téma čísla
Změna k lepšímu je jedním z témat aktuálního vydání magazínu Newstream CLUB. Šířeji pak je tématem longevity, nebo obecněji lepší život. A to nejen každého konkrétního člověka, ale také společnosti nebo firem.
Na obálce magazínu je hvězdný šéfkuchař Radek Kašpárek. Radek Kašpárek je nový člověk, alespoň to říká v titulním rozhovoru. „Byl jsem prudší, výbušnější, taková neřízená střela. Celkově jsem se časem zklidnil, dostal se do větší pohody a tím se ve mně uklidnilo i ego,“ říká.
V novém magazínu tak čtenáři najdou například rozhovor s Pavlem Loudou. Jeho jméno patří k synonymům tuzemského vozoparku, protože je jedním z nejúspěšnějších prodejců aut u nás. Ale zároveň koupil také sklárny, v nichž pracovali jeho rodiče, investoval do nich stamiliony a dnes již může zhodnotit, jak se tato investice vyplatila.
Na rady rodičů vzpomíná také Barbara Paldus, dcera českých emigrantů, která se narodila v Kanadě, uspěla v Silicon Valley a dnes vyrábí kosmetiku, jež vychází z přírodních tradic, ale je podpořená high-endovou vědou. „Na magii sice nevěřím, ale umím věřit věcem, které zatím neumíme vysvětlit,“ říká vědkyně.
A o to, jak razantně změnit život po šedesátce, se podělí Hana Janata, lékařka, která v 55 začala profesionálně tančit a po šedesátce se stala modelkou. A spolupracuje s nejprestižnějšími značkami světa.
Třinácté vydání čtvrtletníku Newstream CLUB je v prodeji, distribuci zajišťuje Send. Digitální verzi magazínu lze zakoupit přímo na newstream.cz.
