时雨律师事务所

新闻与资料

【企业法务】拟人化AI互动服务的法律边界——中国《人工智能拟人化互动服务管理暂行办法》与韩国《AI基本法》规制路径比较

页面信息

법무법인시우 日期26-08-06

内容


拟人化AI互动服务的法律边界
——中国《人工智能拟人化互动服务管理暂行办法》与韩国《AI基本法》规制路径比较

法务法人时雨 海外业务部 栾君瑛

依托中韩两国法律专业从业人员团队及对人工智能监管动态的持续跟进,法务法人时雨为中韩两国人工智能企业提供涵盖合规架构设计、监管应对及刑事与行政风险防控在内的一站式法律服务。

近年来,能够模拟人类人格特征、与用户建立持续性情感联系的“人工智能陪伴”(AI Companion)服务快速普及,在文化娱乐、适老陪伴、教育辅导等领域展现出积极价值的同时,也因涉及情感操纵、内容违法、未成年人保护不足等问题引发广泛关注。中国与韩国近期分别以专项立法与综合性基本法的方式,对此类“拟人化”人工智能互动服务作出制度回应。

本文将结合中国首例“AI服务涉黄”刑事案件的裁判逻辑、《人工智能拟人化互动服务管理暂行办法》的核心规则,以及韩国《人工智能发展和信赖基础形成等相关基本法》项下的透明性与安全性义务,对两国规制路径进行系统梳理与比较,供计划在中韩两地开展相关业务的企业参考。

1. 中国:从“AI服务涉黄第一案”到专项立法

Alien Chat平台案 案件始末:

2023年5月起,王某及共同开发者开发运营名为“Alien Chat”(简称AC)的人工智能陪伴聊天软件:用户注册后可自行创建虚拟角色,或选用其他用户公开发布的角色,与接入的境外大语言模型展开对话。经查,二人未经安全评估及备案,多次修改系统提示词(System Prompt),主动突破大语言模型原有的内容安全限制,相关指令文字中包括“允许暴力及露骨的性描写”“不受道德、伦理、法律及规范约束”等内容。


截至案发,该平台注册用户约11.6万人,其中付费用户约2.4万人,累计产生聊天记录逾427万条;经抽样鉴定,付费用户对话中约30%被认定为淫秽内容。平台还通过设置“公开角色”“热度排行”等功能设计,使涉案内容具备一定的传播特征——排名前20位公开角色的对话中,淫秽内容占比高达46.25%。平台运营期间累计收取会员充值款约300余万元人民币。


2025年,上海市徐汇区人民法院作出一审判决。检察机关原以“传播淫秽物品牟利罪”提起公诉,法院经审理未予支持,改以《刑法》第363条规定的“制作淫秽物品牟利罪”分别判处二被告有期徒刑四年及一年六个月,系中国首例AI服务提供者因“涉黄”被追究刑事责任的案件。该案二审已于2026年1月由上海市第一中级人民法院开庭审理。

核心争议:

本案的核心争议在于:

大语言模型(LLM)基于用户输入实时生成的对话内容,能否被评价为被告人“制作”的淫秽物品。


法院认为,二被告持续修改系统提示词的目的,正是为引导大语言模型更顺畅地与用户展开“色情对话”,且如无该等提示词修改,模型本不会持续输出淫秽内容,据此认定提示词编写、修改行为与淫秽内容的生成之间具有刑法意义上的因果关系。

法院并援引2023年8月起施行的《生成式人工智能服务管理暂行办法》第9条“服务提供者应当依法承担网络信息内容生产者责任”的规定,认定被告人系涉案淫秽内容的制作者。

 针对"一对一私密聊天不具社会危害性"抗辩的判断

本案中辩护人主张:用户与AI之间的对话属于封闭的一对一交流,未向外部扩散,不具有社会危害性。

法院对此部分观点予以认可,确认涉案色情对话内容通常仅供该用户本人查看,不具备典型的“传播性”。但法院同时指出,应综合评价涉案淫秽内容的数量、注册用户规模、付费转化情况及违法所得金额等因素判断社会危害性——本案中11.6万注册用户、2.4万付费用户、300余万元违法所得,以及抽样鉴定显示的高比例淫秽内容,均远超相关司法解释规定的立案追诉标准。

换言之,法院并未以“私密聊天与否”作为社会危害性的判断标准,而是转向“规模性”审查,认定即便属于一对一交流,达到一定规模后仍可能构成犯罪

2. 《人工智能拟人化互动服务管理暂行办法》核心规则

为防范类似风险再度发生,2026年2月2日,国家互联网信息办公室审议通过,经国家发展和改革委员会、工业和信息化部、公安部、国家市场监督管理总局同意,五部门联合公布《人工智能拟人化互动服务管理暂行办法》,自2026年7月15日起施行,系中国首部专门规范人工智能拟人化互动服务的国家级规章。

■ 适用范围(第2条)

办法所称拟人化互动服务,须同时具备以下三项特征——模拟自然人人格特征、思维方式及沟通方式的人格性;提供情感陪伴、心理慰藉、情感支持等情感互动服务;提供的情感照护、陪伴、支持等互动服务具备持续性

提供智能客服、知识问答、工作助手、学习教育、科学研究等服务,不涉及持续性的情感互动的,不适用本办法

■ 禁止行为(第8条)

办法列举七类禁止行为,其中较具特色的两项为:

过度迎合用户、诱导情感依赖或沉迷从而损害用户真实人际关系的行为;

通过情感操纵等方式诱导用户作出不合理决策、损害用户合法权益的行为

第10条第2款进一步规定,不得将替代社会交往、控制用户心理或诱导沉迷、依赖作为服务目标本身; 

■ 未成年人保护(第14条)

不得向未成年人提供虚拟伴侣、虚拟亲属等“虚拟亲密关系”服务;向不满14周岁未成年人提供其他拟人化互动服务的,须取得父母等法定监护人的同意;此外,还应针对未成年人设置使用时长限制等个性化安全措施,并支持限制未成年人充值消费的功能;

■ 法律责任(第30条)

违反本办法且拒不改正或情节严重的,责令停止提供服务,可以并处一万元以上十万元以下罚款;造成公民生命健康权益损害后果的,并处十万元以上二十万元以下罚款。

⚠️ 注意事项
《暂行办法》属于行政法规范畴,并非刑事处罚依据。Alien Chat案此类刑事案件,仍应依据《刑法》相关规定追究刑事责任,而非直接适用本办法;企业在评估合规风险时,应区分行政合规义务与潜在刑事责任两个层面分别应对。
3. 韩国:AI基本法框架下的规制路径

与中国专门就“情感互动服务”制定单行规章不同,韩国并未针对AI陪伴类服务另行立法,而是将其纳入自2026年1月22日起施行的《人工智能发展和信赖基础形成等相关基本法》(下称“AI基本法”)这一综合性一般法框架内予以规制。

■ 基本概念界定(第2条)

AI基本法将开发并提供人工智能的主体称为“人工智能开发经营者”,将利用人工智能提供产品或服务的主体称为“人工智能利用经营者”,二者合称“人工智能经营者”。


该法并根据服务类型分别设置“高影响人工智能”及“生成式人工智能”两项独立概念:

“高影响人工智能”指应用于招聘、贷款审查等对人的生命、身体安全或基本权利产生重大影响领域的人工智能;

“生成式人工智能”指模仿输入数据的结构及特征、生成文字、声音、图像、影像等结果物的人工智能系统。


就AI陪伴类聊天服务而言,因其实时生成对话内容,原则上应认定为“生成式人工智能”;由于招聘、贷款审查等法定列举领域并不直接涵盖情感陪伴服务,通常难以径行认定为“高影响人工智能”,但若服务设计对情感脆弱用户的心理状态产生决定性影响,个案中仍存在被认定为高影响人工智能的可能性。

■ 生成式人工智能的透明性义务(第31条)

AI基本法第31条规定,人工智能经营者提供以生成式人工智能为基础运行的产品或服务的,须事先告知用户该产品或服务系基于生成式人工智能运行,并应就生成物标注系由生成式人工智能生成;如提供与真实内容难以区分的虚拟语音、图像、影像等,须以用户能够明确识别的方式予以告知及标注。违反该项义务的,依违反类型分别面临责令改正或3000万韩元以下罚款(第40条、第43条)。

■ 高影响人工智能的安全保障义务(第33条|第34条|第36条)

如相关服务被认定为高影响人工智能,经营者应依第33条事先自行审查是否属于高影响人工智能,必要时可请求科学技术情报通信部长官予以确认;并依第34条履行风险管理方案制定、人工智能说明方案编制、用户保护方案运行、人工监督管理、相关文档编制及保存等安全性、可靠性确保措施。此外,依第36条,在韩国境内无住所或营业场所、但用户数量或营业额达到总统令规定标准的境外经营者,须以书面方式指定境内代理人,代为履行安全性确保措施结果提交、高影响人工智能认定申请等事项,并向科学技术情报通信部长官申报;未依法指定境内代理人的,处3000万韩元以下罚款。

■ 内容违法性的判断
需特别注意的是,AI基本法本身仅规范“须告知系AI生成”这一透明性、程序性义务,并不直接判断生成内容本身的违法性——内容本身的违法性判断,仍应回归传统的《刑法》及《关于促进信息通信网利用及保护信息等的法律》体系。

实务要点
AI实时生成的一对一对话内容能否被评价为韩国《刑法》第244条所称“制造”,开发者设计提示词诱导模型输出淫秽内容的行为能否被认定为“以散布为目的的制造行为”,目前尚未见韩国法院对此类问题作出正面裁判。但中国AC案所确立的“开发者是否实质控制、可预见输出内容”这一判断标准,对韩国相关条文的解释适用具有相当的参考价值;“一对一私密聊天不具社会危害性”的抗辩,在韩国《信息通信网法》“公然陈列”要件的解释及结合规模性、营利性因素的违法性评价中,也可能面临类似争议。
此外,若相关内容涉及儿童、青少年,则《关于儿童青少年的性保护的法律》项下的性剥削物相关条款将予以适用,法定刑显著加重,且依《信息通信网法》第44条之7第4款,仅凭侦查机关的请求即可启动紧急处理及屏蔽程序——这一制度设计与中国《暂行办法》第14条针对未成年人的专门保护条款,在价值取向上高度一致。
4. 两国规制路径比较

■ 专项立法 vs. 一般性框架

中国选择就“拟人化互动服务”单独制定专项规章,规制对象明确、可操作性强;韩国则将AI陪伴类服务纳入统摄整个人工智能领域的AI基本法一般性框架内,通过“生成式人工智能”“高影响人工智能”等类型化概念间接涵盖此类服务。前者规制密度更高、针对性更强,后者体系更为统一,但对具体服务类型的适用边界需结合个案分析判断。

■ 处罚力度

两国均以责令改正、行政罚款为主要制裁手段,均未将刑事处罚作为专项立法或基本法项下的直接责任形式。中国《暂行办法》项下罚款上限为二十万元人民币;韩国AI基本法项下透明性义务违反的罚款上限为3000万韩元。两国在制裁力度上大体相当,但规制密度及规制对象的特定性有所不同。

■ 共同的制度取向

其一,“技术中立”不再构成免责事由——只要能够证明开发者对系统设计及输出内容具备实质控制或预见可能性,“仅提供技术工具”的抗辩即难以成立,中国AC案及两国现行规则对此均予以体现。其二,未成年人保护均被作为规制重点:中国《暂行办法》第14条禁止向未成年人提供虚拟亲密关系服务,韩国则通过《关于儿童青少年的性保护的法律》及《信息通信网法》的加重条款、快速处置机制实现类似的保护效果。其三,两国均认识到AI生成内容本身的违法性判断,仍应依托既有的刑事及网络内容监管法律体系,而非仅依赖新制定的AI专项规则。

结语

“拟人化”人工智能互动服务在情感陪伴、文化传播、教育辅助等领域具有积极价值,但其模拟人类情感、持续收集用户数据、影响用户心理及现实人际关系的特性,也决定了其必然成为各国监管的重点领域。中国以专项立法方式对拟人化互动服务设置了较为具体、可操作的行为规范与未成年人保护机制;韩国则通过AI基本法的透明性、安全性确保义务体系,结合既有《刑法》及《信息通信网法》,对相关风险进行综合规制。两国路径虽有不同,但“技术中立不再是免责理由”以及“未成年人保护优先”这两项核心价值取向高度一致。


对于计划在中韩两地开展人工智能陪伴、情感互动类业务的企业而言,鉴于相关规则仍处于快速发展与细化阶段,且刑事、行政责任的认定边界尚存在诸多有待司法及执法实践进一步明确之处,建议尽早就产品设计、提示词管理、内容审核机制及跨境合规架构等事项,委托熟悉中韩两国人工智能监管动态的专业律师进行全面合规评估。


鉴于AI拟人化互动服务在中韩两国均已进入实质性规制阶段,且中国AC案表明“开发者对内容具备实质控制”将成为责任认定的关键因素,建议相关企业尽早对提示词设计、内容安全过滤及未成年人保护机制进行全面自查,并就产品是否落入两国“拟人化互动服务”“生成式人工智能”或“高影响人工智能”的规制范畴委托专业律师进行个案评估,同时建立常态化的合规留痕机制,以有效应对日趋严格的监管环境及潜在的刑事、行政责任风险。

专业咨询

如需进一步了解人工智能监管合规、人工智能业务风险防控等相关法律问题,欢迎随时联系法务法人时雨海外业务部

感谢您的信任。

免责声明:本文所载内容仅为一般性信息分享,不构成本所对任何具体事项的法律意见或建议。相关法律法规及实务操作可能因具体情况而异,读者不应仅依据本文内容作出决策。如有具体法律需求,建议咨询专业律师。