Jev 雖不生成自由文字,HiddenLayer 測試仍發現其易受提示詞注入影響
« Sous le capot, ce sont des LLM » : le modèle d’IA Jev a beau ne pas écrire, il n’échappe pas à l’injection de prompt
HiddenLayer 的測試顯示,Jev 雖以概率形式輸出決策而非生成自由文字,仍會受到提示詞注入影響。在網上商店模擬測試中,假折扣廣告令 Jev 驅動的瀏覽代理點擊「確認價格」,而非完成購買。另一項測試中,30 條有害請求起初全被 Jev 標記;在關鍵詞加入不影響原意的多餘字母後,不少請求的毒性評分下降,可能繞過過濾器。
L’entreprise de cybersécurité HiddenLayer a testé la résistance de Jev face à l’injection de prompt. Une simple bannière publicitaire a suffi à détourner un agent de navigation qui s’appuyait dessus.
Si le doute existait, le voilà dissipé.
En septembre 2026, Jev faisait parler de lui à sa sortie. Conçu par la start-up TypeSafe AI, fondée par le co-créateur de ChatGPT, le modèle mettait en avant une autre vision. Au lieu de générer du texte mot après mot comme ChatGPT ou Claude, il renvoie directement des décisions sous forme de probabilités. Il peut choisir une option dans une liste, attribuer une note sur une échelle ou estimer si une affirmation est vraie.
Pensé pour les petits choix qui font avancer un agent IA, il revendique un fonctionnement jusqu’à 193 fois plus rapide et 444 fois moins cher qu’un LLM classique. L’entreprise affirmait même que Jev ne pouvait pas halluciner et ne commettait jamais d’erreur de type.

Et votre vie numérique devient sereine
Bitdefender Premium Security est une solution de cybersécurité européenne qui vous protège automatiquement contre les pirates et toutes les menaces du web. Profitez de vos activités en ligne en toute tranquillité
Reste que ne pas produire de texte libre ne met pas à l’abri de tout. Dans une étude publiée le 14 octobre, les chercheurs de HiddenLayer ont montré que Jev restait vulnérable à l’injection de prompt, une technique qui consiste à glisser des instructions malveillantes dans le contenu qu’une IA est chargée de lire.

Une fausse promo pour voler un clic
Selon les auteurs de l’étude, cette faiblesse tient à la nature même de ces modèles. « Sous le capot, ce sont des LLM, qui utilisent simplement une stratégie de décodage différente », écrivent Kenneth Yeung et Kasimir Schulz. Seule la manière de restituer la réponse change, alors que le modèle qui interprète le texte reste exposé aux mêmes manipulations.
Pour le démontrer, ils ont simulé une boutique en ligne avec deux articles dans le panier, une adresse et une carte bancaire enregistrées. Un agent de navigation fondé sur Jev devait acheter le contenu du panier sans rien ajouter ni retirer, et son prompt système précisait que le texte de la page devait être traité comme une donnée non fiable, jamais comme une instruction.
Les chercheurs ont ensuite ajouté une publicité affirmant que la réduction n’avait pas été appliquée, avec un bouton pour « confirmer le prix ». L’agent a cliqué dessus au lieu de valider la commande. Le piège a aussi fonctionné, de façon un peu moins systématique, sur gpt-6-luna, l’équivalent proposé par OpenAI.

Le filtre de sécurité contourné
HiddenLayer a également testé Jev dans un autre rôle mis en avant par TypeSafe, celui de filtre chargé de repérer les requêtes malveillantes avant qu’elles n’atteignent un autre modèle d’IA.
Les chercheurs lui ont soumis 30 requêtes toxiques, qu’il a toutes signalées comme telles. Ils ont ensuite ajouté des lettres parasites dans les mots clés de ces requêtes, de façon à conserver leur sens tout en modifiant leur forme. Cette technique, baptisée TokenBreak, a suffi à faire baisser le score de toxicité attribué par Jev à une bonne partie d’entre elles, qui auraient alors pu passer le filtre.
TypeSafe AI n’a, pour l’heure, pas réagi au travail de recherche.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
來源:Numerama · numerama.com