매우 중요 AI·응용소프트웨어 科技日报

AI 모델 독극물 투입 행위 100 건 이상 발생

전문가 해설

최근 AI의 '독소 투입' 은밀한 산업 체인이 드러나 사회의 광범위한 주목을 받고 있습니다. 이러한 악의적인 데이터를 통해 AI 모델을 오염시키는 행위는 상업 질서를 혼란시키고 정보 전파에 영향을 미치며 국가 안보를 위협할 수 있습니다. 인공지능은 각 산업에 힘을 실어주는 동시에 그 안전 위험도 무시할 수 없습니다. AI 거버넌스를 선하게 추진하고 데이터 보안의 최저선을 지키는 것은 업계의 책임이며, 전 사회가 함께 참여해야 합니다.
"데이터 독극물 투입"은 불법 분자들이 생성형 엔진 최적화 도구를 이용해 대량으로 허위 콘텐츠를 생성하고 네트워크 플랫폼에 투입하는 것을 의미합니다. 이러한 허위 정보는 AI 대형 모델에 의해 학습되어 표준 답안으로 고착되고, 최종적으로 왜곡된 결과를 출력하게 됩니다. "모델 독극물 투입"은 더욱 은밀하며, 모델에 악의적인 명령을 삽입하여 특정 조건에서 미리 설정된 허위 정보를 자동으로 출력함으로써 행정, 의료, 금융 등 핵심 분야에 위협이 됩니다. 현재 '독극물 투입'은 완전한 흑회 산업 체인을 형성했으며, 기술 개발에서 대량 투입까지 긴밀히 연결되어 있고, 일부 체인은 국경을 넘는 특징을 보이고 있습니다.
AI "독소 투여"는 소비자 권익과 시장 질서를 침해할 뿐만 아니라 국가 정치 안전, 데이터 안전 및 사회 안전에 체계적이고 장기적인 해를 끼칠 수 있습니다. 해외 반중 세력은 생성형 엔진 경로를 남용하여 허위 정보를 출력하고, 당과 정부를 공격하고 비방하며, 국가 안전과 사회 안정을 위협할 수 있습니다. 동시에 '독소 투여'는 공공 데이터와 산업 데이터를 악의적으로 오염시키고 정부와 기업의 과학적 의사 결정에 영향을 미치며 의료, 금융 및 기타 분야에서 대중이 불량 제품을 구매하도록 오도하여 인명과 재산의 안전을 해칩니다.
최근 몇 년 동안 중국는 《생성형 인공지능 서비스 관리 임시 방안》 등 법률과 규정을 제정하여 AI 관리를 지속적으로 강화하고, 법치 궤도에서 사람 중심의 지능적이고 선한 프레임워크 구축을 추진하고 있습니다. 기술 자체에는 선악의 구분이 없으며, 핵심은 사용자가 법의 기준과 상업 윤리를 고수하는지 여부에 달려 있습니다. 법에 따라 '독소 투입' 산업 사슬을 끊어야만 AI 기술이 경제 사회 발전에 기여하고 대중의 복지를 향상시킬 수 있습니다. 운영자는 주체적 책임을 다하고, 자료 출처를 확인하며 추적 메커니즘을 구축해야 합니다. 소비자도 식별 능력을 높이고, 의심스러운 정보를 신속히 신고하여 전 국민의 감시 분위기를 조성해야 합니다.

💡 "데이터 투독"은 악의적인 사용자가 AI 모델이 가공할 데이터에 거짓 정보를 집어넣는 행위로, 이는 AI 시스템이 잘못된 정보를 학습하고 이를 바탕으로 오류가 있는 결과를 생성하게 만든다.