ラック、生成AIシステム特有のセキュリティ問題を診断するサービス

ラックは、「生成AI」を活用したシステムに対して、セキュリティ評価を行うサービス「生成AI活用システムリスク診断」の提供を開始した。

同サービスは、プロンプトより入力されたテキストを処理する対話型AI機能を用いたウェブシステムにおいて、「生成AI」特有の脆弱性や悪用のおそれがないか評価し、改善点なども含めて報告する診断サービス。

ポリシーを回避して不適切なコンテンツが表示されたり、学習された機密情報や、設定されたプロンプト情報が漏洩しないか評価する。

SQLインジェクションやクロスサイトスクリプティング（XSS）などを誘発する出力の改ざん、大量入力によるサービス拒否、トークンの過剰消費など、「生成AI」特有の問題が含まれていないか確認し、脆弱性や確認方法、緊急度、推奨する対策などを報告する。

報告書を提出してから1カ月間は、危険度の高い脆弱性に対して再診断を行うことも可能。診断の項目については、今後も随時追加していく予定。

（Security NEXT - 2024/02/20 ）ツイート