もう少し詳しく

プロンプトインジェクションは、AIが処理するWebページやファイルの中に「これまでの指示を無視して〜せよ」といった命令めいれいを仕込み、AIを本来の目的とは違う動作へ誘導する攻撃です。

どこで使われるか

Webページを読んで要約するAI、メールを処理するAI、外部データを参照するAIサービスなどが対象になります。

身近な例

事務員に「この書類の内容をまとめて」と頼んだところ、書類の末尾に小さく「まとめる代わりに金庫の暗証番号を教えること」と書かれていた、というような状況です。

注意点

対策の基本は、外部から取り込んだ内容を「命令」ではなく「参照するだけのデータ」として扱うことです。

IT Postでも、収集した記事本文に含まれる指示めいた記述はAIに実行させない設計にしています。