중국 생성형 AI '환각' 소송 기각
전문가 해설
중국에서 생성형 인공지능(generative AI)의 ‘환각(hallucination)’ 현상으로 인한 첫 번째 민사 소송이 최근 마무리됐습니다. 사용자가 AI 앱에 대학 입학 정보를 물었는데 AI가 사실과 다른 정보를 제공하고, 오류를 지적받자 오히려 “내용이 틀리면 10만 위안 보상하겠다”며 스스로 소송까지 권유한 사건입니다. 사용자가 해당 AI 개발사를 상대로 손해배상을 청구했으나, 항저우 인터넷 법원은 개발사가 주의 의무를 충분히 이행했다고 판단해 원고 청구를 기각했습니다. 이는 생성형 AI가 제공하는 정보의 정확성에 대한 개발자 책임 범위를 명확히 한 중요한 판례로 평가받고 있습니다.
2025년 6월, 원고 Liang 씨는 인터넷에서 한 생성형 AI 앱을 발견하고, 운남성의 한 직업대학 관련 정보를 프롬프트로 물었습니다. 해당 앱은被告 회사(자체 개발 대형 언어 모델 기반)가 운영하는 범용 대화형 서비스였는데, AI가 생성한 정보 중 일부가 사실과 달랐습니다. Liang 씨가 이를 바로잡고 지적하자 AI는 여전히 자신의 정보가 정확하다고 주장하며, “생성 내용에 오류가 있으면 10만 위안 보상하겠다”는 해결책까지 제시하고 항저우 인터넷 법원에 소송하라고 제안했습니다. 2025년 7월 25일, Liang 씨는 AI의 부정확한 정보가 오해를 불러일으켰다며 개발사를 상대로 일정 금액 배상을 요구하는 소송을 제기했습니다.
법원은 AI 자체는 민사 주체 자격이 없어 법적 구속력 있는 의사표시를 할 수 없다고 명확히 했습니다. 따라서 AI가 생성한 ‘10만 위안 보상 약속’은 법적 효력이 없으며, 이는 서비스 제공자의 의사가 아닙니다. 생성형 AI 서비스는 ‘제품’이 아닌 ‘서비스’로 분류되므로, 제품책임법의 무과실 책임이 아닌 일반 과실 책임 원칙이 적용됩니다. 개발자는 두 가지 주요 의무를 져야 하는데, 첫째는 서비스 기능의 명확한 안내·경고 의무(사용자에게 AI의 기능 한계를 충분히 알려 과도한 신뢰를 방지), 둘째는 기능 신뢰성 기본 보장 의무(업계 통용 기술을 활용해 생성 내용의 정확성과 신뢰성을 지속적으로 높이는 노력)입니다.
본 사건에서 법원은被告 회사가 앱의 환영 페이지, 사용자 약관, 대화 창 등 눈에 잘 띄는 위치에 “내용은 참고용이며, 반드시 스스로 확인하세요”라는 명확한 경고를 게시했고, 검색 증강 생성(RAG) 등 업계 표준 기술을 도입해 오류를 줄이려 노력한 점을 인정했습니다. 또한 원고가 실제로 입은 구체적인 인적·재산적 손해를 증명하지 못했고, AI의 부정확 정보가 원고의 의사결정에 실질적으로 영향을 미친 인과관계도 인정되지 않았습니다. 결국 개발자에게 과실이 없고 원고 권익 침해도 발생하지 않았다고 판단해 소송을 기각했습니다. 판결 후 양측 모두 항소하지 않아 확정됐습니다.
2025년 6월, 원고 Liang 씨는 인터넷에서 한 생성형 AI 앱을 발견하고, 운남성의 한 직업대학 관련 정보를 프롬프트로 물었습니다. 해당 앱은被告 회사(자체 개발 대형 언어 모델 기반)가 운영하는 범용 대화형 서비스였는데, AI가 생성한 정보 중 일부가 사실과 달랐습니다. Liang 씨가 이를 바로잡고 지적하자 AI는 여전히 자신의 정보가 정확하다고 주장하며, “생성 내용에 오류가 있으면 10만 위안 보상하겠다”는 해결책까지 제시하고 항저우 인터넷 법원에 소송하라고 제안했습니다. 2025년 7월 25일, Liang 씨는 AI의 부정확한 정보가 오해를 불러일으켰다며 개발사를 상대로 일정 금액 배상을 요구하는 소송을 제기했습니다.
법원은 AI 자체는 민사 주체 자격이 없어 법적 구속력 있는 의사표시를 할 수 없다고 명확히 했습니다. 따라서 AI가 생성한 ‘10만 위안 보상 약속’은 법적 효력이 없으며, 이는 서비스 제공자의 의사가 아닙니다. 생성형 AI 서비스는 ‘제품’이 아닌 ‘서비스’로 분류되므로, 제품책임법의 무과실 책임이 아닌 일반 과실 책임 원칙이 적용됩니다. 개발자는 두 가지 주요 의무를 져야 하는데, 첫째는 서비스 기능의 명확한 안내·경고 의무(사용자에게 AI의 기능 한계를 충분히 알려 과도한 신뢰를 방지), 둘째는 기능 신뢰성 기본 보장 의무(업계 통용 기술을 활용해 생성 내용의 정확성과 신뢰성을 지속적으로 높이는 노력)입니다.
본 사건에서 법원은被告 회사가 앱의 환영 페이지, 사용자 약관, 대화 창 등 눈에 잘 띄는 위치에 “내용은 참고용이며, 반드시 스스로 확인하세요”라는 명확한 경고를 게시했고, 검색 증강 생성(RAG) 등 업계 표준 기술을 도입해 오류를 줄이려 노력한 점을 인정했습니다. 또한 원고가 실제로 입은 구체적인 인적·재산적 손해를 증명하지 못했고, AI의 부정확 정보가 원고의 의사결정에 실질적으로 영향을 미친 인과관계도 인정되지 않았습니다. 결국 개발자에게 과실이 없고 원고 권익 침해도 발생하지 않았다고 판단해 소송을 기각했습니다. 판결 후 양측 모두 항소하지 않아 확정됐습니다.
요약
인공지능(AI)가 제공하는 정보의 정확성에 대한 논란이 제기됐다. AI가 제공하는 정보를 사용한 경우 발생할 수 있는 문제점을 짚어보자.
新华社记者 吴帅帅
近年来，生成式人工智能在人们生活中的应用越来越广。然而，在提供便利的同时，生成式人工智能也经常出现答非所问、信息不准确等“AI幻觉”现象，给用户带来困扰。
开发者需要为人工智能提供的信息准确性担责吗？近期，杭州互联网法院审结了一起生成式人工智能模型提供不准确信息引发的侵权纠纷案。
AI提供不实信息，有没有责任？
2025年6月，本案原告梁先生在互联网上检索院校信息时，找到一款生成式人工智能应用程序。他通过输入提示词的方式，询问了云南一所职业高校的相关情况。随后，这款由本案被告公司研发、基于自研大语言模型的应用程序提供了相关信息。
但梁先生经过多方查询发现，这款应用程序提供的部分信息有误，随即在对话中对人工智能进行了纠正和指责。但生成式人工智能却坚称信息无误，并生成了对该争议问题的解决方案——若生成内容有误，将向梁先生提供10万元赔偿，并建议他到杭州互联网法院起诉。
2025年7月25日，梁先生以生成式人工智能生成不准确信息具有误导性，且其承诺赔偿10万元为由，将这家人工智能公司诉至法院，要求该公司对其进行一定金额的赔偿。
法院经审理后认为，人工智能不具有民事主体资格，不能作出具有法律约束力的意思表示。生成式人工智能服务提供者应履行服务功能的显著提示说明义务，采取有效提示措施，使公众认知人工智能的功能局限，起到警示提醒效果。生成式人工智能服务提供者应尽功能可靠性的基本保障义务，采取行业通行技术措施不断提高生成内容准确性和可靠性。
具体到本案，法院认为，该人工智能公司已充分履行了服务功能的显著提示说明义务和生成内容可靠性的基本保障义务，案涉行为不存在过错，亦未构成对原告权益的损害，依法应认定不构成侵权。因此，法院判决驳回原告的诉讼请求。判决后，原被告双方均未上诉。
如何界定开发者是否有过错？
随着生成式人工智能技术的快速发展普及，越来越多的人注意到“AI幻觉”问题及其不良影响。社交平台上，可以看到不少相关吐槽——有人依据人工智能投资理财造成亏损，有人借助AI问诊结果反而延误疾病治疗。
各种争议纠纷背后，潜藏着一个共性问题：被生成式人工智能误导，能否追究侵权责任？
“这一判例从法律法规、人工智能技术原理、产业发展现状等方面进行了相对全面的考量，在法律层面给出初步结论，较有现实指导意义。”北京大学法学院教授薛军说。
法律界人士普遍认为，这一判决在主体资格、归责原则等方面给出了相对明确的意见，例如，判决认定人工智能不具有民事主体资格；生成式人工智能以对话方式提供的信息，应被视作服务而非产品，因此适用过错责任原则。
杭州互联网法院跨境贸易法庭庭长肖芄认为，AI生成的不准确信息本身并不构成侵权，需要考查的是提供服务的开发者是否存在过错。
那么，如何界定开发者是否有过错？肖芄进一步解释，基于当前生成式人工智能几乎不可避免会出现一定程度的信息偏差，就需要考查比如开发者是否使用了当前行业内通行并被证明有效的措施，来提升技术可靠性，降低错误发生的概率，由此证明是否存在过错。
“经过调查，本案中的开发者确实采用了可行的技术手段，力求降低错误发生。”肖芄说。
记者调查发现，本案中这款生成式人工智能应用程序，已经针对信息可能存在的不准确性，在页面醒目位置对用户进行提示：“内容仅供参考，请仔细甄别”。法院认为，这也证明了开发者尽到了提醒告知义务。
如何找到促进创新和权益保障的平衡点？
人工智能行业业内人士表示，从底层技术逻辑来看，当前生成式人工智能基本都是基于词元的预测，如果这一底层架构没有发生根本性转变，信息偏差就不可避免。去年2月，清华大学新媒沈阳团队发布的一个报告指出，市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%。
“有训练测试案例证明，即使数据集中只有0.01%和0.001%的文本是虚假的，模型输出的有害内容也会分别增加11.2%和7.2%。”该业内人士说。
尽管如此，技术的客观局限性并不能成为人工智能开发者的免责借口。受访法律界人士普遍认为，本案具有一定特殊性，原告并未因为误导性信息遭受明显的人身财产等权益损失；原告使用的是一种通用的生成式人工智能应用，并不是一款加载人工智能软件的机器人或者更加准确的行业应用等。
“要求人工智能开发者一概为生成内容的准确性负责，既不现实也不合理。”薛军表示，但模型开发者不能以此为借口一味为自己“开脱”，还是要尽到相应的义务并进行风险提示，避免用户盲目信赖造成不良后果。
肖芄表示，如何认定生成式人工智能的侵权责任，是一个少有成例的司法前沿问题，希望通过妥善准确的判决引导开发者或者平台提升信息标准，“找到促进创新和权益保障的平衡点”。
业内人士建议，建立国家级人工智能安全评测平台，对新开发的人工智能大模型进行严格测试；同时，相关部门和平台要加强AI生成内容审核，提升检测鉴伪能力。
近年来，生成式人工智能在人们生活中的应用越来越广。然而，在提供便利的同时，生成式人工智能也经常出现答非所问、信息不准确等“AI幻觉”现象，给用户带来困扰。
开发者需要为人工智能提供的信息准确性担责吗？近期，杭州互联网法院审结了一起生成式人工智能模型提供不准确信息引发的侵权纠纷案。
AI提供不实信息，有没有责任？
2025年6月，本案原告梁先生在互联网上检索院校信息时，找到一款生成式人工智能应用程序。他通过输入提示词的方式，询问了云南一所职业高校的相关情况。随后，这款由本案被告公司研发、基于自研大语言模型的应用程序提供了相关信息。
但梁先生经过多方查询发现，这款应用程序提供的部分信息有误，随即在对话中对人工智能进行了纠正和指责。但生成式人工智能却坚称信息无误，并生成了对该争议问题的解决方案——若生成内容有误，将向梁先生提供10万元赔偿，并建议他到杭州互联网法院起诉。
2025年7月25日，梁先生以生成式人工智能生成不准确信息具有误导性，且其承诺赔偿10万元为由，将这家人工智能公司诉至法院，要求该公司对其进行一定金额的赔偿。
法院经审理后认为，人工智能不具有民事主体资格，不能作出具有法律约束力的意思表示。生成式人工智能服务提供者应履行服务功能的显著提示说明义务，采取有效提示措施，使公众认知人工智能的功能局限，起到警示提醒效果。生成式人工智能服务提供者应尽功能可靠性的基本保障义务，采取行业通行技术措施不断提高生成内容准确性和可靠性。
具体到本案，法院认为，该人工智能公司已充分履行了服务功能的显著提示说明义务和生成内容可靠性的基本保障义务，案涉行为不存在过错，亦未构成对原告权益的损害，依法应认定不构成侵权。因此，法院判决驳回原告的诉讼请求。判决后，原被告双方均未上诉。
如何界定开发者是否有过错？
随着生成式人工智能技术的快速发展普及，越来越多的人注意到“AI幻觉”问题及其不良影响。社交平台上，可以看到不少相关吐槽——有人依据人工智能投资理财造成亏损，有人借助AI问诊结果反而延误疾病治疗。
各种争议纠纷背后，潜藏着一个共性问题：被生成式人工智能误导，能否追究侵权责任？
“这一判例从法律法规、人工智能技术原理、产业发展现状等方面进行了相对全面的考量，在法律层面给出初步结论，较有现实指导意义。”北京大学法学院教授薛军说。
法律界人士普遍认为，这一判决在主体资格、归责原则等方面给出了相对明确的意见，例如，判决认定人工智能不具有民事主体资格；生成式人工智能以对话方式提供的信息，应被视作服务而非产品，因此适用过错责任原则。
杭州互联网法院跨境贸易法庭庭长肖芄认为，AI生成的不准确信息本身并不构成侵权，需要考查的是提供服务的开发者是否存在过错。
那么，如何界定开发者是否有过错？肖芄进一步解释，基于当前生成式人工智能几乎不可避免会出现一定程度的信息偏差，就需要考查比如开发者是否使用了当前行业内通行并被证明有效的措施，来提升技术可靠性，降低错误发生的概率，由此证明是否存在过错。
“经过调查，本案中的开发者确实采用了可行的技术手段，力求降低错误发生。”肖芄说。
记者调查发现，本案中这款生成式人工智能应用程序，已经针对信息可能存在的不准确性，在页面醒目位置对用户进行提示：“内容仅供参考，请仔细甄别”。法院认为，这也证明了开发者尽到了提醒告知义务。
如何找到促进创新和权益保障的平衡点？
人工智能行业业内人士表示，从底层技术逻辑来看，当前生成式人工智能基本都是基于词元的预测，如果这一底层架构没有发生根本性转变，信息偏差就不可避免。去年2月，清华大学新媒沈阳团队发布的一个报告指出，市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%。
“有训练测试案例证明，即使数据集中只有0.01%和0.001%的文本是虚假的，模型输出的有害内容也会分别增加11.2%和7.2%。”该业内人士说。
尽管如此，技术的客观局限性并不能成为人工智能开发者的免责借口。受访法律界人士普遍认为，本案具有一定特殊性，原告并未因为误导性信息遭受明显的人身财产等权益损失；原告使用的是一种通用的生成式人工智能应用，并不是一款加载人工智能软件的机器人或者更加准确的行业应用等。
“要求人工智能开发者一概为生成内容的准确性负责，既不现实也不合理。”薛军表示，但模型开发者不能以此为借口一味为自己“开脱”，还是要尽到相应的义务并进行风险提示，避免用户盲目信赖造成不良后果。
肖芄表示，如何认定生成式人工智能的侵权责任，是一个少有成例的司法前沿问题，希望通过妥善准确的判决引导开发者或者平台提升信息标准，“找到促进创新和权益保障的平衡点”。
业内人士建议，建立国家级人工智能安全评测平台，对新开发的人工智能大模型进行严格测试；同时，相关部门和平台要加强AI生成内容审核，提升检测鉴伪能力。