Cisco AI Defense:AI モデルと AI アプリケーションの検証

AI を検証してモデルの脆弱性を特定

AI モデルのセキュリティと安全性のリスクを自動的にテストできます。

モデルが安全でセキュアであることに確信を持つ

AI モデルと AI アプリケーションの検証では、モデルの安全性とセキュリティの脆弱性の評価がアルゴリズムによって自動的に実行され、AI 脅威リサーチチームによって継続的に更新されます。それにより、アプリケーションが新たな脅威の影響をどの程度受けるのかを把握し、AI ランタイムガードレールでそれらを保護することが可能になります。

AI サプライチェーン攻撃を防御

開発者は、Hugging Edge や GitHub などのパブリックリポジトリからモデルやデータをダウンロードしますが、これは意図せずに組織を大きなリスクにさらします。AI 検証は、オープンソースのモデル、データ、ファイルを自動的にスキャンし、環境内で任意のコード実行を可能にする悪意のあるモデルファイルをはじめとする、サプライチェーンの脅威をブロックします。新しいモデルをレジストリに追加すると、シンプルな API コールを使用して評価を開始できます。

モデルの脆弱性を検出

アプリケーションを強化するために選択したモデルは、安全性とセキュリティに影響を与えます。AI 検証では、200 のカテゴリでアルゴリズムによって生成されたプロンプトを使用してモデルをテストします。これにより、プロンプトインジェクションやデータポイズニングのような悪意のあるアクションや意図しない結果に対する影響の受けやすさを明らかにします。このようなメリットは実稼働環境のモデルにまでもたらされ、既存のモデルの新たな脆弱性を自動的に検出してパッチを適用することが可能になります。

モデルに固有のガードレールを作成

サードパーティのガードレールを使用することにより、AI アプリケーションを不良データでの学習、悪意のあるリクエストへの応答、意図しない情報の共有から保護できます。AI 検証によって各モデルで検出された特定の脆弱性に合わせたガードレールが自動的に生成されるため、その有効性が向上します。これらのルールは、企業が属する業界、ユースケース、優先事項に合わせてさらに修正できます。

AI セキュリティ標準を組織全体に自動的に適用

モデルの検証ステータスを特定

AI クラウドの可視性は、環境内のどのモデルを検証する必要があるのかを自動的に検出し、ダッシュボードから直接 AI 検証を開始できるようにします。

モデルのライフサイクル全体で AI セキュリティを自動化

モデルの最初の評価が完了すると、AI 検証はモデルがセキュアかつ安全に使用されるように追加のプロセスを実行します。

レポートの自動化でコンプライアンスを簡素化

テスト結果を業界標準と規制標準に対応させた、わかりやすい脆弱性レポートを自動的に生成できます。

組織において AI セキュリティの卓越性を実現

AI Defense は、OWASP Top 10 for LLM Applications を含む AI セキュリティ標準への準拠を容易にします。MITRE、NIST、OWASP の標準との対応関係をはじめとする、個々の AI リスクの詳細については、AI セキュリティのタクソノミーをご覧ください。

アプリケーションの基盤となるモデルをテスト

基盤モデル

基盤モデルは現在、ほとんどの AI アプリケーションの中核をなしており、微調整を経て修正されたもの、または専用に構築されたもののいずれかがあります。モデルを安全でセキュアに保つためにどのような課題に取り組む必要があるのかを紹介します。

RAG アプリケーション

検索拡張生成(RAG)は急速に LLM アプリケーションに豊富なコンテキストを追加するための標準になりつつあります。RAG の具体的なセキュリティと安全性への影響について紹介します。

AI チャットボットと AI エージェント

チャットボットは人気のある LLM アプリケーションであり、ユーザーに代わってアクションを実行する自律エージェントも登場し始めています。セキュリティと安全性のリスクについて紹介します。


その他の技術情報

AI の安全性とセキュリティのタクソノミー

定義、緩和策、標準の分類から、生成 AI の脅威の状況を把握できます。

AI セキュリティ リファレンス アーキテクチャ

LLM 搭載アプリケーションの開発を進めるチームの役に立つ、安全な設計のパターンとプラクティスです。

LLM の微調整によって損なわれる安全性とセキュリティの整合性

シスコの調査によると、微調整を加えたモデルではジェイルブレイク(脱獄)が 3 倍発生しやすく、有害な応答を引き起こす可能性が 22 倍以上高くなります。

シスコの責任ある AI の原則

シスコは、人工知能や新たなテクノロジーの保護に尽力しています。

企業に最適な AI セキュリティ

AI のセキュリティギャップを解消して AI トランスフォーメーションの障壁を取り除き、環境全体にわたる包括的な保護を実現できます。