微软宣布全面推出 Azure AI 内容安全,这是一项新服务,可帮助用户跨应用程序和服务检测和过滤有害的 AI 和用户生成的内容。
该服务包括文本和图像检测,并识别微软所说的“冒犯性、危险性或不良”内容,包括脏话、成人内容、血腥、暴力和某些类型的言论。
Azure 异常检测器产品经理 Louise Han 在博客文章中写道:“通过关注内容安全,我们可以创建一个更安全的数字环境,促进负责任地使用人工智能,并保障个人和整个社会的福祉。”宣布推出。[ Bing 的 AI 聊天机器人来为我工作。我不得不解雇它。]
Azure AI 内容安全能够处理各种内容类别、语言和威胁,以调节文本和视觉内容。它还提供图像功能,使用 AI 算法扫描、分析和调节视觉内容,确保微软所说的 360 度全面安全措施。
该服务还可以审核多种语言的内容,并使用严重性指标,以 0 到 7 的等级来指示特定内容的严重性。
0-1 级的内容被认为是安全且适合所有受众的,而表达偏见、判断性或固执己见的观点的内容则被评为 2-3 级或低级。
中等严重性内容的分级为 4-5,包含攻击性、侮辱性、嘲笑、恐吓性语言或对身份群体的明确攻击,而高严重性内容则包含有害和明确宣传有害行为,或认可或颂扬极端形式的有害行为。针对身份群体的活动分为 6-7 级。
Azure AI 内容安全还使用多类别过滤来识别和分类多个关键领域的有害内容,包括仇恨、暴力、自残和性。
“[当谈到在线安全时]重要的是要考虑的不仅仅是人类生成的内容,尤其是在人工智能生成的内容变得普遍的情况下,”韩写道。“确保人工智能生成的输出的准确性、可靠性以及不存在有害或不适当的材料至关重要。内容安全不仅可以保护用户免受错误信息和潜在伤害,还可以维护道德标准并建立对人工智能技术的信任。”