上海市委网信办今日公布了“清朗·整治 AI 应用乱象”专项行动第一阶段的成果。该行动自2026年4月下旬启动，旨在解决包括未履行大模型备案登记、安全审核能力不足、训练语料安全、数据投毒、内容标识缺失、滥用AI技术以及开源模型管理不善等七大突出问题。

为推进此项工作，上海市委网信办于5月13日召集了包括AI平台、互联网内容平台、电商平台、应用商店及开源社区在内的17家重点网站平台，部署了具体要求并指导其改进安全和举报机制。随后的5月15日，稀宇、千问、小红书、哔哩哔哩、拼多多等多家重点平台发布了治理公告。上海举报中心同期开通了专项举报渠道，已收到与AI相关的违法不良信息举报及12345市民反映线索超过20件。

在第一阶段的行动中，上海市委网信办指导17家重点平台进行了自查自纠，共清理拦截了超过487万条包含AI生成内容但未按规定标识的工具教程、数据投毒内容、未经授权的“换脸拟声”内容、AI制谣传谣以及AI低俗内容等违法违规信息。此外，还处置了1.8万余个违规账号，下架了1.4万余个违规智能体，并处理了1300余个违规商品。对于屡次违规的账号，采取了分级约束和封禁措施。各平台也根据自身特点展开了治理：稀宇下架了“一键脱衣”、赌球博彩等智能体，并打击了利用AI编写病毒和钓鱼软件的行为；小红书则打击了AI托管运营账号，禁售了未标识AI生成内容的商品，并推进与其他制作平台的隐式标识互认；哔哩哔哩在内容发布页面强制要求将“AI生成”设为必选标签；魔搭社区则清理了涉低俗内容的数据库，并加强了对开源模型的审核。同时，上海市委网信办联合专业机构对32款用户量大、影响力高的AI产品进行了巡查测试，并对4家企业进行了现场检查，重点督导了AI标识落实不到位和平台安全审核能力不足等问题。

在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区网信办的合作，举办了16场AI安全合规培训，为企业提供政策指导和业务支持，并对未按规定备案的服务进行了排查和评估。目前，上海已完成169款大模型的备案，以及183款调用已备案模型API的生成式人工智能应用的登记。在重点领域，上海市在浦东软件园举办了关于AI场景落地安全与合规的沙龙活动。针对医疗和政务等领域，联合市数据局优化了政务智能应用测评验证中心，并制定了相关安全规范；联合市卫健委通过医疗大模型应用检测验证中心保障医疗AI应用的安全。此外，还与市市场监管局调研了头部GEO企业，探索源头治理模式。

为落实未成年人保护和拟人化AI服务规范，上海市委网信办围绕即将于2026年7月15日生效的《人工智能拟人化互动服务管理暂行办法》，对近百家重点平台进行了法规宣贯，指导企业进行合规建设。针对未成年人模式形同虚设、身份验证失效以及不良内容生成等风险，督导企业严格执行未成年人身份验证，防范情感依赖和消费诱导，并对问题突出的应用进行了监管执法。

据了解，专项行动的第二阶段将重点关注利用AI技术生成“数字泔水”、制作发布虚假信息、传播低俗暴力内容、仿冒他人、侵犯未成年人权益以及从事网络水军活动等问题，并将持续清理违法不良信息，依法处置违规账号和平台。在此期间，上海市委网信办将继续通过专项举报入口接收公众提供的违规线索。