Roblox开源三款AI安全工具-助力在线安全生态共建

速览 Roblox通过ROOST（Robust Open Online Safety Tools Model Community）开源了三款AI安全模型，旨在推动在线安全工具的开放与合作。ROOST是由Roblox、Google、OpenAI和Discord于2025年共同创立的独立非营利组织，致力于开发和维护在线安全的开源基础设施。此次开源的模型包括PII分类器、Roblox Sentinel以及最新的语音安全分类器，这些工具已在Roblox平台上投入使用，帮助识别个人信息泄露、儿童安全风险及实时语音聊天的违规行为。 Roblox通过ROOST开源了三款AI安全模型，推动在线安全领域的合作与创新。 ROOST是一个独立的非营利组织，专注于开发和维护在线安全的开源基础设施。Roblox于2025年与Google、OpenAI和Discord共同创立了该组织。 Roblox贡献了其PII分类器、Roblox Sentinel和最新的语音安全分类器给ROOST。这些模型已经在Roblox平台上投入使用。 PII分类器能够识别试图分享或请求个人身份信息（PII）的行为，包括拼写错误、编码语言以及对其他平台的隐晦引用。 Roblox还分享了该工具的评估数据集，包含“基于常用绕过PII过滤技术的英文多用户聊天合成样本”。 Roblox Sentinel用于检测潜在的儿童危险早期信号。最新的语音安全分类器实现了实时语音聊天的内容审核，并结合了ROOST社区的反馈。 此外，Roblox发布了新的评估数据集，帮助企业评估其安全工具的有效性。最新版本支持30种语言和8类违规行为的审核。 Roblox信任与安全工程副总裁Naren Koneru表示：“分享这些模型为其他平台提供了强有力的起点，以训练和调整他们自己的审核工具。我们也希望通过其他公司的学习和反馈获得收益。” “安全是共同责任，没有任何公司能独自解决。我们贡献给ROOST的目的是帮助其他公司提升自身的安全分类器。我们将继续分享并从ROOST社区学习，共同推进自动检测技术的发展。” 本周早些时候，美国参议院司法小组委员会宣布对Roblox展开调查，指控该平台“似乎优先考虑收入和用户活跃度指标”而非儿童安全。 Roblox被要求在2026年8月31日前提供有关儿童安全、性或身体虐待、欺凌及经济剥削的相关记录。 近年来，Roblox推出了多项新安全措施，包括限制13岁以下用户的直接消息功能、全球面部识别检查、体验内容的“敏感问题”标签以及强化的审核政策。 Roblox通过开源其AI安全工具，展现了推动行业合作与提升在线安全的决心。尽管面临监管压力，Roblox持续加强平台安全措施，致力于为用户提供更安全的游戏环境。