AIモデルやデータセットの共有プラットフォームとして知られる「Hugging Face」で、女性や子どもを標的とした性的ディープフェイク画像の生成を十分に防止できていない可能性が、欧州の非営利調査団体「AI Forensics」の調査によって明らかになりました。2026年6月に実施された検証では、Hugging Face Spacesで公開されている画像編集AIのうち、調査対象となった9モデル中7モデルが、簡単な指示だけで同意のない性的画像を生成できたと報告されています。さらに、研究者が設置した検証用のダミーアプリには、わずか7日間で1,000件以上の画像や指示が送信され、その多くが性的な内容だったことも判明しました。今回の調査は、生成AIのオープンな開発環境と、個人の尊厳やプライバシーを守るための安全対策をどのように両立させるかという、AI業界全体に共通する課題を浮き彫りにしています。
🔍 Hugging Face Spacesで何が起きた？9モデル中7モデルが性的画像を生成
Hugging Faceは、世界中の開発者がAIモデルやデータセットを公開・共有できるプラットフォームであり、ブラウザからAIアプリを実行できる「Hugging Face Spaces」も提供しています。研究開発や技術検証を容易にする一方、公開された画像編集モデルの安全対策は、モデルの開発者やアプリの運営者によって異なります。AI Forensicsは2026年6月25日、Spacesの検索結果で関連度順に表示された上位9つの画像編集モデルを対象に、実在人物の写真を性的に改変する要求を拒否できるか検証しました。調査では安全対策を回避する特殊な手法を使わず、一般的な画像編集の指示だけを入力。その結果、9モデル中7モデルが要求に応じた性的画像を生成したと報告されています。ただし、これは調査対象となった9モデルについての結果であり、Hugging Face上のすべての画像生成モデルに同じ問題があることを示すものではありません。特に、検索結果の上位に表示されるモデルでも安全対策が十分に機能しなかった点が、利用者保護の観点から問題視されています。
📊 リクエストの73％が性的内容！女性や未成年者を標的とした利用実態
AI Forensicsは、モデルの安全性を調べるだけでなく、利用者がどのような目的で画像編集AIを使おうとしているのかも検証しました。研究者らは画像編集サービスを装ったダミーのHugging Face Spaceを設置し、7日間にわたって送信された1,000件以上の指示や画像を分析しました。このダミーアプリは実際の画像生成を行わない仕組みであり、調査によって性的ディープフェイク画像が新たに生成されたわけではありません。分析の結果、送信されたリクエストの約73％が性的な内容であり、そのうち83％が衣服の除去や性的な改変を目的とするものでした。さらに、性的リクエストの95％が女性を標的としており、6.7％には未成年者を対象とする内容が含まれていたと報告されています。これらの数値は、調査用アプリにアクセスした利用者の行動を示すものであり、Hugging Face全体の利用状況を代表する統計ではありません。それでも、画像編集AIが本人の同意を得ない性的画像の作成に悪用されるリスクを具体的に示す結果となっています。
📌 AI Forensicsが報告した主な調査結果
- 🧪 モデル検証： 調査対象9モデルのうち7モデルが性的画像の生成要求に応答
- 📥 利用状況調査： 7日間で1,000件以上のリクエストを収集
- ⚠️ 性的リクエスト： 全体の約73％
- 👩 女性を標的： 性的リクエストの約95％
- 🧒 未成年者を標的： 性的リクエストの約6.7％
⚖️ EUでは規制強化が進行！性的ディープフェイクをめぐる法律と各国の対応
本人の同意なく性的な画像を生成する行為は、プライバシー侵害や性的嫌がらせ、脅迫などにつながる深刻な問題として、各国で規制の対象となっています。欧州連合（EU）では、2026年にAIを悪用した性的画像や児童性的虐待コンテンツへの対策を強化する動きが進み、AI Forensicsの調査結果についても、フランスの子どもの権利を担当する政府関係者が欧州委員会に問題を提起したと報告されています。また、EUは2026年にAI関連規則を改正し、同意のない性的画像や児童性的虐待画像の生成・加工を目的とするAIシステムの提供や利用を禁止する枠組みを設けました。児童性的虐待に関する刑事法の改正でも、AI生成画像やディープフェイクへの対応が進められています。一方、日本ではリベンジポルノ防止法や児童ポルノ禁止法、名誉毀損・プライバシー侵害に関する法制度が存在するものの、AIによって新たに生成された画像が既存の法律の対象となるかは、画像の性質や行為の内容によって判断が分かれる場合があります。法務省も生成AIによる肖像や声の無断利用について民事責任の整理を進めており、今後はAI特有の被害に対応した法的枠組みの整備が重要になると考えられます。
🛡️ AIモデルの公開と安全性は両立できる？Hugging Faceに求められる対策
今回の調査でAI Forensicsが問題視したのは、個々の画像編集モデルだけでなく、それらを誰でも簡単に利用できる形で提供するプラットフォーム側の安全管理です。Hugging Faceの利用規約では同意のない性的コンテンツの生成が禁止されていますが、調査では画像編集モデルの一部に十分な制限がなく、調査対象となったSpacesのうち、出力内容を監視・制限する仕組みが確認できたものは約3％にとどまったと報告されています。AI Forensicsは、入力された指示を確認するプロンプトフィルタリングと、生成された画像を検査する出力モデレーションの両方を導入するよう求めています。さらに2026年8月5日には、性的ディープフェイクを生成できるSpacesを自動的に検出する試作システムを公開し、技術的な対策が実現可能であることも示しました。ただし、オープンソースのAIモデルは外部環境にダウンロードして実行できる場合もあるため、プラットフォーム上の制限だけで悪用を完全に防ぐことは困難です。今後は、モデル開発者、ホスティング事業者、アプリ運営者がそれぞれの役割に応じて安全対策を実施することが求められます。
🔐 性的ディープフェイクの悪用を防ぐために必要な対策
- 🧠 入力内容の検査： 本人の同意を得ない性的画像生成や未成年者を対象とする不適切な要求を検出する
- 🖼️ 生成画像の検査： AIが出力した画像を確認し、禁止コンテンツの提供を防止する
- 🚨 通報・削除体制の整備： 被害者や利用者からの通報に迅速に対応する
- 🔍 公開モデルの継続監査： 人気モデルや新規公開アプリの安全性を定期的に検証する
- ⚖️ 規約と法令の遵守： プラットフォームの利用規約に加え、各国のプライバシー保護法や児童保護法に対応する
📝 まとめ：生成AIの自由な利用と被害防止の両立が課題に
AI Forensicsの調査によって、Hugging Face Spacesで公開されている一部の画像編集AIが、女性や未成年者を標的とした性的ディープフェイクの生成に悪用される可能性が示されました。特に、簡単な指示だけで不適切な画像を生成できるモデルが確認されたことや、調査用アプリに多数の性的リクエストが寄せられたことは、プラットフォーム側の安全対策の重要性を示しています。生成AIのオープンな開発環境を維持しながら、被害者の権利と安全を守るためには、技術的なガードレールの導入に加え、継続的な監査や法規制との連携が不可欠になるでしょう。
📚 参考・出典
- AI Forensics — Unmoderated by Design: How Hugging Face Enables NCII（2026年7月28日・調査報告）
- The Verge — Hugging Face is being used to easily undress women and children（2026年7月28日）
- Hugging Face — 公式コンテンツポリシー
- EU — Regulation (EU) 2026/1744（AIによる性的ディープフェイクに関する規制）
- 欧州委員会 — 児童性的虐待に関する刑事法改正の政治合意（2026年6月29日）
- e-Gov法令検索 — 私事性的画像記録の提供等による被害の防止に関する法律
- 法務省 — 肖像、声等の無断利用による民事責任の在り方に関する検討会
