Azure Content Moderator

Content Moderatorは、ユーザーが投稿したコンテンツを確認するMicrosoftのツールでした。テキストから暴言や個人データを探し、画像については成人向けや性的に際どい内容を分析し、動画も検査して、スコアとフラグを返しました。プラットフォームはそれを使って除外したり、人の確認に回したりできました。オンラインコミュニティ、マーケットプレイス、ユーザーがファイルを上げるアプリが、自動の最初の防御として使っていました。

Microsoftはこのサービスを非推奨にし、新しいプロジェクトは作れなくしています。案内先はAzure AI Content Safetyです。新しいサービスはより進んだモデルを使い、ヘイト、性的コンテンツ、暴力、自傷といった区分で複数の深刻度を扱います。対応する言語もずっと多く、生成AI向けにはPrompt Shieldsや、出力が根拠に沿っているかの検知も加わりました。既存のContent Moderatorのプロジェクトは、廃止日まで動き続けます。

まだContent Moderatorを使っているなら、終了前にAzure AI Content Safetyか別の提供者へ移す計画が必要です。代替には、OpenAIのモデレーション用エンドポイント、Google Cloudのコンテンツモデレーション機能、Amazon Rekognitionのモデレーション、Hive、テキストの有害性を見るPerspective APIがあります。新しいプロジェクトはContent Safetyから始めるのがよいです。古いチュートリアルやドキュメントが今もContent Moderatorに触れているので、この項目は参照用に残しています。