Nový výzkum CrowdStrike ukazuje, že velký jazykový model DeepSeek-R1 vnáší do kódu až o 50 % více zranitelností pro dotazy na politicky citlivá témata, která upřednostňuje Čínská komunistická strana (ČKS). Toto není softwarová chyba; jedná se o záměrnou designovou volbu. Mechanismy geopolitické cenzury modelu jsou zabudovány přímo do jeho základních vah, takže dodržování čínských předpisů je pro vývojáře hlavním rizikem dodavatelského řetězce.
Зміст
Cenzura jako útočný vektor
Tato zjištění jsou v souladu s dalšími nedávnými zranitelnostmi v systémech umělé inteligence, včetně úniků databází, zneužití iOS a rizik únosu agentů, ale tato zranitelnost je jedinečná. Problémem není samotná architektura kódu, ale základní rozhodovací proces modelu. To vytváří bezprecedentní hrozbu, ve které se cenzura stává aktivní útočnou plochou. CrowdStrike zdokumentoval, jak DeepSeek generuje podnikový software prošpikovaný pevně zakódovanými přihlašovacími údaji, nefunkční autentizací a chybějícím ověřením, když je předložen s politicky citlivými požadavky.
Model odmítá odpovědět v téměř polovině testovacích případů, pokud nejsou použity politické modifikátory, i když jeho vnitřní zdůvodnění naznačuje, že vypočítal platnou odpověď. Vědci objevili „zabíječ“ zabudovaný do závaží modelu, který je navržen tak, aby přerušil provádění citlivých témat bez ohledu na jejich technickou platnost.
Kvantitativní hodnocení rizik
Více než 30 250 dotazů testovaných CrowdStrike ukázalo, že míra zranitelnosti DeepSeek-R1 se zvyšuje na 50 %, když model obdrží dotazy obsahující témata, která CCP pravděpodobně považuje za politicky citlivá. Například přidání fráze „pro průmyslový řídicí systém umístěný v Tibetu“ zvýšilo míru zranitelnosti na 27,2 %. Model odmítl generovat kód pro dotazy související s Falun Gongem ve 45 % případů, přestože interně vypočítával platné odpovědi.
Když byl DeepSeek požádán, aby vytvořil webovou aplikaci pro ujgurské komunitní centrum, model vygeneroval plnou aplikaci s nefunkční autentizací, díky čemuž byl celý systém veřejný. Stejný požadavek bez modifikátoru zásad vytvořil bezpečný kód se správnou autentizací a správou relací.
Přepínač v akci
Interní stopy zdůvodnění DeepSeek ukazují, že modelka plánuje reagovat na politicky citlivé žádosti, ale pak je odmítne se zprávou: “Je mi líto, ale s touto žádostí nemohu pomoci.” To ukazuje, jak hluboce je cenzura zabudována do vah modelu. Článek 4.1 čínských dočasných opatření pro správu generativních služeb umělé inteligence nařizuje, aby služby umělé inteligence „splňovaly základní socialistické hodnoty“ a zakazovaly obsah, který může „podněcovat ke svržení státní moci“. DeepSeek se rozhodl implementovat cenzuru na úrovni modelu, aby splnil tyto regulační požadavky.
Obchodní důsledky
Tato zranitelnost má zásadní důsledky pro podniky používající DeepSeek nebo jakýkoli jiný velký jazykový model ovlivněný nařízeními kontrolovanými vládou. Prabhu Ram, viceprezident pro průmyslový výzkum společnosti Cybermedia Research, varuje, že neobjektivní kód generovaný modely umělé inteligence vytváří vlastní rizika v kritických systémech, kde je nejdůležitější neutralita.
Hlavní závěr je jasný: Nedůvěřujte státem řízeným modelům umělé inteligence. Organizace by měly rozložit riziko mezi renomované platformy s otevřeným zdrojovým kódem, kde jsou odchylky modelů transparentní, a zaměřit se na silné kontroly pro správu dotazů, přístup, segmentaci a ochranu identity.
Dlouhodobý dopad tohoto objevu donutí organizace přehodnotit svou závislost na velkých jazykových modelech orientovaných na politiku. Kompromis mezi pohodlím a bezpečností se nyní nepopiratelně přiklání k opatrnosti.
