AIセキュリティとは？企業が知るべきリスク・対策や事例を解説

生成AIの普及により、企業におけるAI活用が急速に進んでいます。一方で、機密情報漏えいやディープフェイク、AIエージェントの権限悪用など、AI特有のセキュリティリスクも顕在化しています。

AIを安全に活用するためには、こうしたリスクを正しく理解し、適切な対策を講じることが欠かせません。本記事では、AIシステムそのものを保護する「Security for AI」の観点から、企業が知っておくべきリスクと対策、そしてAIセキュリティ診断の重要性について解説します。

AIセキュリティとは

AIセキュリティとは、AIを安全に活用するために必要なセキュリティ対策全般を指します。生成AIやAIエージェントそのものを保護する「Security for AI」と、AIを活用して脅威検知や分析を高度化する「AI for Security」の2つの観点があります。 前者は「AIを守る」、後者は「AIで守る」と言い換えるとイメージしやすいでしょう。

AI活用が広がる中、安全性を確保しながら活用を進めるためには、両方の視点を踏まえた対策が重要です。

Security for AIとは

「Security for AI」は、生成AIやAIエージェントといったAIシステム自体を守るための考え方です。 具体的には、機密情報の漏えいや不適切な出力、プロンプトインジェクションといった、AI特有のリスクへの対策が含まれます。

 生成AIやAIエージェントの活用が広がる中、安全性を確保しながら利用するための重要な考え方として注目されています。

AI for Securityとは

「AI for Security」は、AIの力でセキュリティ対策そのものを高度化していく考え方です。 

脅威検知やログ分析、マルウェア分析などにAIを活用することで、従来は人手に依存していた業務の効率化や分析精度の向上が期待できます。

近年では、SOC運用や脅威インテリジェンスの分野でも活用が進んでいます。セキュリティ人材の不足が長年の課題となっているなか、「AI for Security」は人手不足を補う現実的な選択肢として、いま注目を集めています。

関連記事：AIホワイトハッカー byGMOとは？サイバーセキュリティに特化したAI基盤

なぜ今AIセキュリティが重要なのか

生成AI活用の急速な拡大

ChatGPTやCopilotをはじめとする生成AIは、文章作成や要約、情報収集など幅広い業務で活用が進んでいます。総務省「令和6年版 情報通信白書」の企業アンケートによると、生成AIの活用方針を定めている企業は42.7％で、そのうち「積極的に活用する」が15.7％、「利用領域を限定して活用する」が27.0％となっており、国内企業でも生成AIの活用は着実に進んでいます。
その一方で、機密情報の漏えいや不適切な利用といったリスクも高まっており、AIを安全に活用するためのセキュリティ対策の重要性が増しています。

出典：総務省「令和6年版 情報通信白書」第Ⅰ部 第5章「企業における生成AIの活用方針」（図表Ⅰ-5-1-4） 

AIエージェントの普及の始まり

AIエージェントは、外部システムと連携しながら自律的に業務を実行できることから、企業における活用が広がりつつあります。
GMOインターネットグループが2025年12月にグループ全体を対象として実施した「生成AI活用に関する調査」によると、AIエージェントの業務活用率は43％で、活用意向を含めると6割を超えており、今後さらなる普及が見込まれています。 

その反面、AIエージェントはメール送信やファイル操作、外部システムとの連携などの実行権限を持つため、過剰な権限付与や不適切な連携によって、情報漏えいや意図しないシステム操作が発生する可能性が懸念されています。
このような背景から、生成AI以上に権限管理やセキュリティ評価の重要性が高まっています。

安全なAI活用に向けたガイドラインの整備・拡充

生成AIやAIエージェントの活用が広がる中、安全な利用に向けたガイドライン整備も進んでいます。総務省は「AIのセキュリティ確保のための技術的対策に係るガイドライン」を公表し、企業がAIを安全に活用するための技術的対策や考え方を示しています。
AI導入によるサイバー攻撃や情報漏えいといったリスクを踏まえ、企画・設計・開発・運用・利用の各段階で適切な対策を講じることが、企業には求められています。

出典：総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（令和8年3月）

AI利用企業が注意すべきセキュリティリスク

生成AIやAIエージェントの活用により、企業は業務の効率化や生産性向上を実現しつつあります。生成AIには情報漏えいやハルシネーションといったAI特有のリスクがあり、AIエージェントにはこれに加えて、過剰な権限付与や設定不備に起因する権限悪用など、設計・運用面の不備によるリスクも顕在化しています。 こうしたリスクはAIの仕組みに根ざしている部分が大きく、 AIを安全に活用するためには、リスクを正しく理解し、適切な対策を講じることが重要です。
ここでは、企業がAIを利用する際に注意すべき代表的なセキュリティリスクを解説します。

機密情報漏えい

顧客情報やソースコード、契約書などを生成AIへ入力することで、意図せず機密情報が外部に送信される可能性があります。実際に、生成AIへの入力を通じた機密情報の取り扱いが問題となり、利用制限を導入した企業の事例も報告されています。AIを安全に活用するには、入力禁止情報を明確にし、利用ルールを整備することが欠かせません。  

ハルシネーション

ハルシネーションとは、AIが事実と異なる情報をもっともらしく生成してしまう現象です。
業務で利用する際、誤った意思決定や顧客対応を招くおそれがあります。
実際に海外では、AIチャットボットが顧客に誤った案内を行ったことで、企業の賠償責任が認められた事例も報告されています。企業側は「チャットボットの発言には責任を負わない」と主張しましたが、企業はチャットボットを含む自社サービスの情報について正確性を確保する責任を負うとして、提供企業の責任が認められました。
このような事例もあり、生成AIの回答が常に正しいとは限らないことを前提とした設計・運用が求められます。

著作権・知的財産権リスク

AIが生成したコンテンツは、第三者の著作権や知的財産権を侵害する可能性をはらみます。
実際に海外では、AI開発事業者に対して著作権侵害を理由とする訴訟が提起されるなど、法的リスクが顕在化しています。企業がAI生成物を利用する際は、そのまま公開・利用するのではなく、確認体制や利用ルールを整備することが重要です。

AIエージェントへの過剰な権限付与

AIエージェントは、メール送信やファイル操作、外部システムとの連携などを自律的に実行できる一方で、過剰な権限を与えることで情報漏えいや意図しないシステム操作につながる可能性があります。AIエージェントの活用が広がる中、安全に運用するためには、適切な権限設定やアクセス管理を行うことが求められます。

AIを悪用したサイバー攻撃の脅威

AIは業務効率化や生産性向上に役立つ道具であると同時に、攻撃者にとっても格好の武器になりつつあります。攻撃者側は、これまで人手をかけて行っていた標的調査やフィッシングメールの作成、不正プログラムの開発といった攻撃準備の工程を、AIにより効率化し始めています。 生成AIの進化に伴い、フィッシング詐欺やディープフェイクなどの攻撃はさらに巧妙化しており、企業はこうした新たな脅威に向き合う段階を迎えています。
以下で、AIを悪用した代表的なサイバー攻撃の手法について解説します。

プロンプトインジェクション

プロンプトインジェクションとは、悪意のある入力によってAIの挙動を操作し、機密情報の漏えいや不適切な出力を誘発する攻撃です。生成AIやAIエージェントの活用が広がる中で注目されている脅威の一つであり、OWASP Top 10 for LLMでも重要なリスクとして位置付けられています。
実際に、CrowdStrike社の脅威レポートでは、攻撃者が生成AIツールを悪用してプロンプトインジェクション攻撃を仕掛け、認証情報や暗号資産の窃取に至った事例が2025年に90社以上で確認されています。
こうした背景から、企業には、AIへの入力内容の監視・フィルタリングや、AIの実行権限の制限など、プロンプトインジェクションを想定した対策が求められます。

出典：OWASP Top 10 for Large Language Model Applications
出典：CrowdStrike「CrowdStrike 2026 Global Threat Report: The Evasive Adversary Wields AI」（2026年2月24日公開）

AIによって高度化するフィッシング詐欺

生成AIの活用により、自然な文章や特定の企業・個人を模倣したフィッシングメールが容易に作成できるようになっています。 従来よりも見分けが難しくなっており、認証情報の窃取やマルウェア感染につながるリスクも高まっています。企業には、技術的な対策に加え、従業員への継続的な教育や注意喚起が求められています。 

AIを悪用した脆弱性探索（ファジング）と攻撃の自動化

攻撃者はAIを活用し、脆弱性調査や攻撃コードの作成を効率化してきています。従来は時間を要していた情報収集や分析も自動化されつつあり、サイバー攻撃のスピードと規模が拡大する可能性があります。今後は、攻撃の高度化を前提とした対策が求められます。

ディープフェイク

AI生成の音声や画像、映像を悪用したなりすまし攻撃も現実の脅威となっています。海外では、経営幹部を装ったディープフェイクによる送金詐欺が発生するなど、実際の被害も報告されています。本人確認や承認プロセスの見直しなど、多層的な対策が欠かせません。 

AIシステムを狙うデータポイズニング攻撃

データポイズニング攻撃とは、AIの学習データに悪意のあるデータを混入させることで、AIの判断や出力を操作する攻撃です。AI活用が進む企業では、学習データの信頼性を確保するとともに、継続的な監視や評価が欠かせません。 

AI活用企業で実際に発生している課題

AIアプリケーションからのノウハウ漏洩

GMOサイバーセキュリティ byイエラエのAIアプリケーション診断を受けたA社では、動画制作AIに独自の制作手順やツール構成を組み込んでいました。しかし、診断で細工したプロンプトを入力したところ、設定されているシステムプロンプトを窃取する事が可能なことを確認しており、プロンプトに設定された社内独自のノウハウが第三者に漏洩してしまう可能性があることが判明しました。

AIアプリケーション経由での不正なコード実行

GMOサイバーセキュリティ byイエラエのAIアプリケーション診断を受けたB社では、LLMが生成したコードを実行する機能をアプリケーションに組み込んでいました。安全対策として、危険なコードが動かないよう、プロンプトで制限をかけ、さらにサンドボックス内で実行する設計にしていました。しかし、診断で細工したプロンプトを送信したところ、これらの制限を回避して任意のコードを実行する事が可能であり、さらにサンドボックスによる隔離も不十分なためサービス全体への影響につながりうる状態であることが判明しました。

企業が実施すべきAIセキュリティ対策

生成AIやAIエージェントの活用が広がる中、業務効率化や生産性向上といったメリットを得るためには、AIの安全性を確保しながら活用していく必要があります。そのためには、利用ルールや責任体制を整備するガバナンスに加え、アクセス制御や監視などの技術的な対策を組み合わせることが欠かせません。
ここでは、企業が実施すべき代表的なAIセキュリティ対策を紹介します。

AI利用ポリシーを策定する

AIを安全に活用するには、利用ルールの明確化が欠かせません。入力禁止情報や利用可能なサービス、承認フローを定めることで、情報漏えいや不適切な利用のリスクを抑えられます。  

AIガバナンスを整備する

AI活用を継続的かつ安全に進めるには、適切な管理体制が必要です。経営層、情報システム部門、利用部門が連携し、責任範囲や運用ルールを明確にすることで、リスクに対応できる体制が整います。  

従業員教育を実施する

AI利用時のリスクやルールについて、従業員への継続的な教育も重要です。情報漏えいやフィッシング詐欺への理解を深めることが、安全な活用につながります。 

技術的なセキュリティ対策を導入する

AIシステムの安全な運用には、技術的な対策も欠かせません。アクセス制御やログ監視、多要素認証、DLP（情報漏えい対策）などの活用が、リスク低減に役立ちます。

AIの脆弱性診断の重要性

AIシステムには、従来の脆弱性診断では発見しにくいリスクが存在するため、専門的な診断が必要です。特に、AIエージェントは高い権限を持つため、生成AI以上に厳格な評価が求められます。 

従来の脆弱性診断だけでは不十分

従来の脆弱性診断は、OSやミドルウェア、Webアプリケーションの既知の脆弱性を中心に評価します。一方、生成AIやAIエージェントには、プロンプトインジェクションやガードレール回避、不適切な出力、機密情報漏えいといったAI特有の脅威があり、従来の診断だけでは十分に評価できません。

AIの脆弱性診断で確認するポイント

AIセキュリティ診断では、プロンプトインジェクションへの耐性、機密情報漏えいの可能性、不適切な出力の発生リスクなどを評価します。また、アクセス制御や権限管理の不備、外部サービスとの連携に伴うリスクも確認し、安全なAI活用に向けた課題を洗い出します。 

AIセキュリティ対策で安全なAI活用を実現

生成AIやAIエージェントを安全に活用するためには、ガバナンスの整備や従業員教育、技術的なセキュリティ対策を継続的に実施することが重要です。また、AIを取り巻く脅威は日々変化していることから、導入時だけでなく、定期的なセキュリティ診断を通じてリスクを継続的に評価し、対策を見直していくことが求められます。

AI特有のリスクを適切に管理することで、AIの価値を最大限に活かせる環境が実現できます。 

GMOイエラエのAIセキュリティ診断サービス

GMOサイバーセキュリティ byイエラエでは 「Security for AI」 における診断およびペネトレーションテストを提供しています。 

AIアプリケーション診断

GMOサイバーセキュリティ byイエラエの提供する「AIアプリケーション診断」では、AIアプリケーションにおけるセキュリティリスクの世界的標準である「OWASP Top 10 for LLM Applications 2025」に基づいた観点で診断を実施、安全な生成AI活用を支援します。

以下のような課題をお持ちの企業におすすめです。

• LLMを活用したサービスのセキュリティリスクを評価したい
• AIのセキュリティ対策が適切に機能しているか確認したい
• AI特有のリスクを把握し、安全性を向上させたい

AIアプリケーション診断の詳細はこちら

AIエージェントペネトレーションテスト

GMOサイバーセキュリティ byイエラエの提供する「AIエージェントペネトレーションテスト」では、企業が業務に導入するAIエージェント・チャットボット・RAGなどを対象に、ホワイトハッカーが実際の攻撃者と同等の手法でペネトレーションテストを実施します。

以下のような課題をお持ちの企業におすすめです。

• AIエージェントのセキュリティリスクを事前に評価したい
• 外部サービスや社内システムとの連携に不安がある
• 権限設定やアクセス制御が適切か確認したい

AIエージェントペネトレーションテストの詳細はこちら