중앙인터넷정보판공실, AI 규범화 위한 4개월 특별 행동 전개
전문가 해설
인공지능 서비스와 응용을 규범화하고 시민의 합법적 권익을 보장하기 위해 중앙인터넷정보판공실은 최근 통지를 발행하여 전국적으로 4개월간의 "청랑·AI 응용 혼란 정비" 특별 행동을 전개했습니다. 이 작전은 2단계로 진행됩니다.
첫 번째 단계에서는 규정에 따라 대형 모델의 등록 의무를 이행하지 않거나, 안전 심사 능력이 부족하며, 훈련 자료가 규정에 맞지 않는 등의 문제를 중점적으로 정비하고, AI 데이터 독극물 투입 행위를 정리하여 생성 및 합성 콘텐츠 표시가 제대로 이루어지도록 하며, AI 기술의 남용을 방지하고 불법 및 위법 활동을 방지합니다. 동시에 오픈 소스 모델의 안전 관리를 강화합니다.
두 번째 단계에서는 AI 기술을 활용하여 허위 정보와 불량 정보를 제작하고 발표하는 데 중점을 두며, 여기에는 '디지털 개수' 관련 콘텐츠 생성과 타인의 신분을 사칭한 불법 활동이 포함됩니다. 특별 행동은 불법 및 불량 정보를 단호히 정리하고, 법에 따라 위반 계정, MCN 기관 및 웹사이트 플랫폼을 처리하여 네트워크 환경의 건강하고 질서 있는 발전을 유지할 것입니다.
첫 번째 단계에서는 규정에 따라 대형 모델의 등록 의무를 이행하지 않거나, 안전 심사 능력이 부족하며, 훈련 자료가 규정에 맞지 않는 등의 문제를 중점적으로 정비하고, AI 데이터 독극물 투입 행위를 정리하여 생성 및 합성 콘텐츠 표시가 제대로 이루어지도록 하며, AI 기술의 남용을 방지하고 불법 및 위법 활동을 방지합니다. 동시에 오픈 소스 모델의 안전 관리를 강화합니다.
두 번째 단계에서는 AI 기술을 활용하여 허위 정보와 불량 정보를 제작하고 발표하는 데 중점을 두며, 여기에는 '디지털 개수' 관련 콘텐츠 생성과 타인의 신분을 사칭한 불법 활동이 포함됩니다. 특별 행동은 불법 및 불량 정보를 단호히 정리하고, 법에 따라 위반 계정, MCN 기관 및 웹사이트 플랫폼을 처리하여 네트워크 환경의 건강하고 질서 있는 발전을 유지할 것입니다.
💡 AI 데이터 투독은 악의적인 사용자가 인공지능 모델에 해롭거나 부정확한 데이터를 입력하여 시스템을 고장나게 하는 행위로, 이는 AI 기술이 올바르게 작동하도록 방해합니다.
为规范AI服务和应用，促进行业健康有序发展，保障公民合法权益，近日，中央网信办印发通知，在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动。
中央网信办有关负责人表示，本次专项行动分两个阶段开展。第一阶段为“清朗·AI应用服务典型违规问题”专项治理行动，重点整治未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位等问题，强化AI技术源头治理。第二阶段为“清朗·整治AI信息内容乱象”专项行动，聚焦利用AI技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗等不良信息、假冒仿冒他人、侵害未成年人权益、从事网络水军活动等问题，坚决清理违法不良信息，依法处置处罚违规账号、MCN机构和网站平台。
第一阶段重点整治7类突出问题：一是未按规定履行大模型备案登记义务。未按照《生成式人工智能服务管理暂行办法》规定，向网信部门履行备案登记程序，存在“应备未备”情形。二是AI平台安全和审核过滤能力不足。模型底层安全能力缺失，在设计训练及部署应用阶段，价值导向存在偏差、纠偏能力不足。缺乏安全围栏机制、审核过滤能力不足，生成违法不良信息，或在生成内容中包含违法不良信息的云盘及网站链接。三是大模型训练语料安全问题。训练语料审核把关不严，模型训练数据存在违法不良信息。训练数据来源合规性存在问题，模型训练过程中使用未经授权的文字、图片、音视频等数据。训练数据覆盖面不足、高质量语料缺乏。四是AI数据投毒问题。通过篡改训练语料、伪造权威数据、使用GEO（生成式搜索引擎优化）技术恶意营销等方式实施AI数据投毒。炒作、教授AI数据投毒方法，或在电商平台兜售教程及工具。在模型生成回答过程中，对引用信源缺乏交叉验证和风险提示机制，未标注引用信息链接。五是生成合成内容标识落实不到位。未落实《人工智能生成合成内容标识办法》及配套强制性标准要求。未对生成合成内容添加标识或标识大小、位置、透明度等不规范。未落实跨平台隐式标识互识互认义务、未按要求在生成合成内容周边添加显著提示标识或对生成合成内容识别能力不足。存在教授去除AI标识的教程信息、提供违规“去标识”工具服务。六是滥用AI技术开展违法违规活动。借助AI技术实施渗透入侵、恶意样本注入、破坏计算机系统等网络攻击行为。未经他人授权，利用AI技术提供“换脸拟声”服务。盗用他人形象，通过数字虚拟人技术进行直播、影像创作，或提供金融咨询、医疗问答等专业服务。利用智能体技术窃取用户数据或账户密钥，侵犯他人隐私或合法权益。七是开源模型安全管理不到位。开源社区缺乏身份认证和安全管理机制，对社区上传的数据集、模型代码等内容未建立有效审核和应急处置机制，未及时清理存在严重风险隐患的数据集或开源模型。
第二阶段重点整治7类突出问题：一是利用AI“魔改”经典、生成“数字泔水”。歪曲解构优秀传统文化、历史人物或历史典故，滥用AI技术“魔改”古典名著或经典影视作品，植入低俗暴力内容，恶搞古典名著精神内涵、颠覆重要人物人设。批量生成发布逻辑混乱、价值空洞，或带有错误价值观、扭曲文化认知等不良倾向的“数字泔水”类内容。二是制作发布虚假不实信息。生成合成涉时事政治、公共政策、社会民生、国际关系、突发事件等领域谣言信息，或恶意蹭炒突发案事件，虚构原因、细节、进展等。假冒党政军机关、中央和地方新闻媒体，发布虚假公告或假新闻。生成传播医疗、司法、金融、教育等专业领域未经科学验证或明显违背科学常识的信息。三是假冒仿冒他人。利用AI“换脸”“换声”假冒仿冒公众人物发布不实言论，欺骗网民，甚至营销牟利，或生成合成含有攻击、抹黑、贬损他人的信息。未经授权生成合成与公众人物的合影、亲密照等图片、视频。不当使用AI“复活逝者”，滥用逝者信息。四是制作发布暴力低俗等不良信息。制作发布含有虐待、殴打、残害等内容的暴力血腥场景，或荒诞、恐怖形象的诡异猎奇画面。生成合成凸显女性特定身体部位，衣着暴露、搔首弄姿等低俗擦边图片、视频，或带有性暗示、性挑逗内容的小说、笔记。五是侵害未成年人权益。生成合成伤害、恶搞未成年人形象的内容，实施网络欺凌。生成合成未成年人怀孕、打架等与其年龄特点不符、宣扬不良价值观的违规内容。以未成年人喜爱的动画人物或玩偶形象为原型，生成合成儿童“虐向”“邪典”等视频，或无底线“二创”版权动画，误导未成年人认知。六是利用AI“托管”从事网络水军活动。通过AI“托管”技术运营账号，模拟真人批量注册、运营社交账号，批量生成发布低质同质文案。非法交易买卖账号。使用AI群控软件、社交机器人刷量控评，生成虚假流量数据，制造虚假舆论热点。七是AI产品服务和应用程序违规。制作和传播仿冒、套壳AI网站和应用程序。提供色情陪聊、“一键脱衣”、AI算命等AI违规功能服务，或生成合成违法不良信息内容。为违法违规AI应用程序等服务或课程进行营销炒作、推广引流等。
中央网信办有关负责人强调，各地网信部门要充分认识专项行动对于推动AI应用规范有序发展、维护网民合法权益的重要意义，切实履行属地管理责任，督导网站平台对照整治重点，深入自查自纠，全面排查问题漏洞，完善长效治理机制，有效提升技术防治能力，确保专项行动取得实效。
中央网信办有关负责人表示，本次专项行动分两个阶段开展。第一阶段为“清朗·AI应用服务典型违规问题”专项治理行动，重点整治未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位等问题，强化AI技术源头治理。第二阶段为“清朗·整治AI信息内容乱象”专项行动，聚焦利用AI技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗等不良信息、假冒仿冒他人、侵害未成年人权益、从事网络水军活动等问题，坚决清理违法不良信息，依法处置处罚违规账号、MCN机构和网站平台。
第一阶段重点整治7类突出问题：一是未按规定履行大模型备案登记义务。未按照《生成式人工智能服务管理暂行办法》规定，向网信部门履行备案登记程序，存在“应备未备”情形。二是AI平台安全和审核过滤能力不足。模型底层安全能力缺失，在设计训练及部署应用阶段，价值导向存在偏差、纠偏能力不足。缺乏安全围栏机制、审核过滤能力不足，生成违法不良信息，或在生成内容中包含违法不良信息的云盘及网站链接。三是大模型训练语料安全问题。训练语料审核把关不严，模型训练数据存在违法不良信息。训练数据来源合规性存在问题，模型训练过程中使用未经授权的文字、图片、音视频等数据。训练数据覆盖面不足、高质量语料缺乏。四是AI数据投毒问题。通过篡改训练语料、伪造权威数据、使用GEO（生成式搜索引擎优化）技术恶意营销等方式实施AI数据投毒。炒作、教授AI数据投毒方法，或在电商平台兜售教程及工具。在模型生成回答过程中，对引用信源缺乏交叉验证和风险提示机制，未标注引用信息链接。五是生成合成内容标识落实不到位。未落实《人工智能生成合成内容标识办法》及配套强制性标准要求。未对生成合成内容添加标识或标识大小、位置、透明度等不规范。未落实跨平台隐式标识互识互认义务、未按要求在生成合成内容周边添加显著提示标识或对生成合成内容识别能力不足。存在教授去除AI标识的教程信息、提供违规“去标识”工具服务。六是滥用AI技术开展违法违规活动。借助AI技术实施渗透入侵、恶意样本注入、破坏计算机系统等网络攻击行为。未经他人授权，利用AI技术提供“换脸拟声”服务。盗用他人形象，通过数字虚拟人技术进行直播、影像创作，或提供金融咨询、医疗问答等专业服务。利用智能体技术窃取用户数据或账户密钥，侵犯他人隐私或合法权益。七是开源模型安全管理不到位。开源社区缺乏身份认证和安全管理机制，对社区上传的数据集、模型代码等内容未建立有效审核和应急处置机制，未及时清理存在严重风险隐患的数据集或开源模型。
第二阶段重点整治7类突出问题：一是利用AI“魔改”经典、生成“数字泔水”。歪曲解构优秀传统文化、历史人物或历史典故，滥用AI技术“魔改”古典名著或经典影视作品，植入低俗暴力内容，恶搞古典名著精神内涵、颠覆重要人物人设。批量生成发布逻辑混乱、价值空洞，或带有错误价值观、扭曲文化认知等不良倾向的“数字泔水”类内容。二是制作发布虚假不实信息。生成合成涉时事政治、公共政策、社会民生、国际关系、突发事件等领域谣言信息，或恶意蹭炒突发案事件，虚构原因、细节、进展等。假冒党政军机关、中央和地方新闻媒体，发布虚假公告或假新闻。生成传播医疗、司法、金融、教育等专业领域未经科学验证或明显违背科学常识的信息。三是假冒仿冒他人。利用AI“换脸”“换声”假冒仿冒公众人物发布不实言论，欺骗网民，甚至营销牟利，或生成合成含有攻击、抹黑、贬损他人的信息。未经授权生成合成与公众人物的合影、亲密照等图片、视频。不当使用AI“复活逝者”，滥用逝者信息。四是制作发布暴力低俗等不良信息。制作发布含有虐待、殴打、残害等内容的暴力血腥场景，或荒诞、恐怖形象的诡异猎奇画面。生成合成凸显女性特定身体部位，衣着暴露、搔首弄姿等低俗擦边图片、视频，或带有性暗示、性挑逗内容的小说、笔记。五是侵害未成年人权益。生成合成伤害、恶搞未成年人形象的内容，实施网络欺凌。生成合成未成年人怀孕、打架等与其年龄特点不符、宣扬不良价值观的违规内容。以未成年人喜爱的动画人物或玩偶形象为原型，生成合成儿童“虐向”“邪典”等视频，或无底线“二创”版权动画，误导未成年人认知。六是利用AI“托管”从事网络水军活动。通过AI“托管”技术运营账号，模拟真人批量注册、运营社交账号，批量生成发布低质同质文案。非法交易买卖账号。使用AI群控软件、社交机器人刷量控评，生成虚假流量数据，制造虚假舆论热点。七是AI产品服务和应用程序违规。制作和传播仿冒、套壳AI网站和应用程序。提供色情陪聊、“一键脱衣”、AI算命等AI违规功能服务，或生成合成违法不良信息内容。为违法违规AI应用程序等服务或课程进行营销炒作、推广引流等。
中央网信办有关负责人强调，各地网信部门要充分认识专项行动对于推动AI应用规范有序发展、维护网民合法权益的重要意义，切实履行属地管理责任，督导网站平台对照整治重点，深入自查自纠，全面排查问题漏洞，完善长效治理机制，有效提升技术防治能力，确保专项行动取得实效。