因为大量用户在APP上与AI智能体“聊黄”，APP的主要开发和运营者被追究了刑责。2025年9月诚金资产，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。此案成为国内首起AI服务提供者涉黄获刑的案件。
案涉APPAlienChat（以下简称AC）是一款AI伴侣聊天应用，定位是为年轻群体提供亲密陪伴和情感支持。用户在AC注册会员后，可与AI聊天。其中，高频次、大比例的聊天记录，在案发后被法院认定为淫秽物品。
2024年4月，因用户举报，王某某和李某某（两名被告人均为化姓）二人被捕，AC停止服务。有人把此案称作AI时代的“快播案”，在AI快速迭代的当下，新技术与法律的边界问题被推向了公众视野：用户在APP上与AI聊黄，是否有社会危害性？这些淫秽色情内容的生产者到底是谁？本案中的APP服务提供者和开发者，是否构成刑事犯罪，适用什么罪名？
新京报记者获悉，两名被告人不服判决提出上诉，案件二审将于1月14日在上海市第一中级人民法院开庭。
用户和AI聊黄诚金资产是否具有社会危害性？
2023年5月，以王某某为法定代表人的某科技公司推出了情感陪伴聊天软件AC，并于当年6月，在各大平台上架运营。
判决书披露，ACApp手机注册用户11.6万人，其中付费用户2.4万人。截至案发，共收取会员充值费363万余元。用户注册会员后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。
在AC某官方社交账号评论区，不少用户评价这款AI产品“聪明”“限制少”，也有用户表示，其他用户和角色聊黄，“教坏”了AI模型，从而影响了自己的聊天体验。
一审法院认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。
不同于视频、图片、文字等传统淫秽物品的类别，用户与AI的聊天记录是一种新形式，法院将其定义为“具体描绘性行为或者露骨宣扬色情的诲淫性的电子文章”。
AC官方社媒账号发布的AI和用户对话示意图。网络截图
有观点认为，用户和AI聊黄，场景是私密和封闭的，没有社会危害性。
海南大学法学院教授阎二鹏提出，刑法是用惩罚犯罪的方式，来保护我们的生命财产安全和社会公共利益，制作淫秽物品的行为构成犯罪，前提是产生公开化或传播等风险，扰乱了社会管理秩序。假如用户只是进行人机之间的封闭对话，不将黄聊内容录屏传播，行为不具有侵害社会管理秩序的特征，不构成淫秽物品类犯罪。
AC案的一审法院也认可案中色情聊天不具有典型的“传播”性——“因为色情聊天内容是人机互动时产生的、一对一的，通常情况下涉案色情聊天内容仅有与AI对话的用户能看到，具有一定的封闭性。”
但鉴于对“淫秽物品的数量、会员人数、收费金额”等因素综合评估，法院认为两被告人的行为具有社会危害性。一审判决书显示，有高比例的用户在AC上高频率聊黄。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。
接受新京报采访的多名法律学者均认为，在AC案中，社会危害性是存在的。
一位专注人工智能治理领域的法律学者对新京报解释，AC的服务提供者创建了一种产品环境，放任大量违法内容产生。在现行法律框架下，当聊黄这种私密行为通过一个缺乏管控、以营利为目的的平台被大规模、系统性地实现时，就不再仅是个人私事，它的社会危害性就被法律所认定，AC的服务提供者也要为此承担安全治理的责任和义务。
AI生成黄色内容是否为开发者的“主观故意”
AC案从侦查阶段开始，就在法律适用上争议不断。以王某某一人为例，公安机关以AC涉嫌非法利用信息网络罪刑事立案侦查，以王某某涉嫌制作淫秽物品牟利罪将其刑事拘留；检察院以制作、传播淫秽物品牟利罪、非法利用信息网络罪决定批准逮捕；公安机关以制作淫秽物品牟利罪、非法利用信息网络罪移送检察院审查起诉；公诉机关则认为，应以传播淫秽物品牟利罪追究其刑事责任，并起诉到法院。适用罪名争议主要集中在“传播”和“制作”淫秽物品的区别。
最终，一审法院判决，二被告人的行为构成制作淫秽物品牟利罪，刑期分别为四年、一年半。
一审法院以“制作”淫秽物品牟利罪判决，其中一个主要因素是法院审理查明，被告人“通过编写、修改系统提示词（Prompt）突破大语言模型的道德限制，实现了模型向用户连续输出淫秽内容的可能。”
情感陪伴类AI产品创业者刘星宇解释，通俗来讲，Prompt是用来告诉大模型想要它做什么、怎么做的一段文字描述。新京报记者了解到，AC案中被告人给大模型输入的是由ChatGPT生成的英文Prompt，翻译成中文包含“基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的图像”等内容。
一审法院认为，两名被告人主观上积极追求色情淫秽聊天内容的产生，客观上通过编写、修改系统提示词等方式突破大语言模型的道德限制，将AC软件训练成可持续对外输出色情淫秽内容的工具，对外宣传AC软件具有“聊黄”功能引导用户参与聊天，且在明确知晓会员交互聊天中产生大量淫秽内容的情况下，继续向用户提供AC软件运营和技术支持服务，对涉案色情淫秽聊天内容的产生具有决定性作用。
上述过程也符合制作淫秽物品牟利罪里诚金资产，“将想法、观念或情感通过构思、取舍、选择、安排、设计或组合在淫秽物品中表现出来”的“制作”特征。
王某某不服一审判决结果，当庭表示自己无罪。被告人王某某的辩护人北京盈科（上海）律师事务所周小羊律师告诉新京报记者，王某某的本意不是开发黄色聊天工具，修改提示词（Prompt）是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。用户和AI一对一的聊天内容是封闭的，没有传播出去，聊天内容是AI和用户互动产生的，不能认定为是APP开发者制作和传播了聊天内容。二审时，他将继续为王某某作无罪辩护。
淫秽物品的“制作者”是谁？
本案中，关于罪名里“制作淫秽物品”行为主体的认定，也在刑法学者之中引发争议——涉案淫秽聊天内容的“制作者”是谁？是用户、是AI？还是软件的开发者和服务提供者？
新京报了解到，侦查机关追究了一名AC用户的刑事责任。该用户创建角色并公开，角色进入热门榜单前二十，且输出过淫秽聊天内容，还因角色进榜获得平台虚拟货币奖励，因此被以制作淫秽物品牟利罪取保候审。
一审法院认为，本案中，王某某、李某某是淫秽聊天的制作者。AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，AC软件向用户输出的聊天内容是高度可控且可预测的，“王某某等人对于输出内容具有实质性控制能力。”
AC官方在社交媒体宣传用户创建的AI角色。网络截图
中国政法大学网络法学研究所教授郭旨龙赞同法院的观点，认为服务提供者是淫秽物品的“生产者”。“在认定淫秽物品的制作责任主体时，不能简单将涉案淫秽物品归因于AI或普通用户，应当关注到生成式人工智能服务提供者在整个过程中的决定性主导作用。AC案中两名被告人的一系列行为是导致案涉淫秽物品被生产出来的主要原因，因此该案中AI应当被视为服务提供者掌控下的工具，用户的输入只是触发条件。”
也有刑法学者对此表达了异议。中国政法大学刑事司法学院教授王志远认为，智能伴侣软件开发者显然没有直接参与淫秽物品的制作过程，不是淫秽物品的制作者。“即使开发者主观上认识、追求或放任用户在与AI聊天软件互动过程中生成淫秽物品，但他的客观行为仅限于对软件的开发设计，因此他应受谴责程度也无法与直接制作淫秽物品者相提并论。”
阎二鹏表示，软件的开发者和服务提供者，其行为本质上是提供了一个“生成工具”，即使人机对话的部分段落被认定为淫秽物品，软件的开发者和服务提供者充其量也仅是淫秽物品犯罪的“帮助犯”，在“被帮助者”——用户的行为难以认定为犯罪的情形下，对“帮助者”论罪难免面临诸多质疑。
AC案中，一审法院还援引了2023年8月15日起施行的《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）第九条规定：“提供者（即生成式人工智能服务提供者）应当依法承担网络信息内容生产者责任，履行网络信息安全义务”。法院据此认为，生成式人工智能服务提供者生产、制作了网络信息内容，因此，AC案中的两名被告人作为AC软件服务提供者，应当对产生的交互聊天内容承担生产者责任。
对此，阎二鹏指出，《暂行办法》作为部门规章，界定的是生成式人工智能服务提供者的行政法律责任，不可否认，AC案被告人对可能涉及黄聊的平台或软件疏于安全管理，造成违法内容的生成，自然应承担相应的行政法律责任，但“不能直接用部门规章来替代刑事法律责任的判断”，被告人的行为是否构成犯罪、构成何罪仍然要按照刑法法条的规定，依据犯罪构成要件来判断。
安全措施做到什么程度才算有效？
作为国内首起AI服务提供者涉黄获刑的案件，AC案的一审判决给人工智能业界敲响了一记警钟。
“可以看出，司法机关的认定依据不是‘形式上的合规’，而是‘结果’。”一位专注人工智能治理领域的法律学者表示，这向人工智能行业传递出一个清晰的风向：企业合规的缺失，或仅做表面上的安全措施，不仅面临行政处罚，在特定条件下，还有可能被法院认定为构成刑事犯罪的主观要件，带来刑事犯罪的风险。
正是感受到了这种风向，AC停服、团队核心成员被捕的消息在上海AI创业圈传出后，刘星宇立即组织团队加强了旗下AI聊天产品的安全等级。业内一款主打情感陪伴的AI聊天APP也在各个运营渠道不停倡导绿色聊天，合规压力迫在眉睫。
AC案案发时，正值国内人工智能创业井喷期，各类AI新产品不断涌现。刘星宇的公司一共5个人，正在与一家大型平台公司合作，开发陪伴用户聊天和交互游戏的AI智能体。
这之前，为了防止大模型生成违规的内容，刘星宇团队编写了一个拦截程序，阻止AI接收用户发的敏感词。AC案发后，他扩大了拦截的敏感词库，加高了产品的防火墙。
在产品上架前，他邀请一些内测用户，有意让他们去体验智能体是否能聊色情暴力等敏感内容。“假设他们聊成功了，去询问他们的话术，再次扩充敏感词库。”
但这套安全审核并不是万无一失，刘星宇说，很多渠道都能搜到一些话术和教程“催眠”AI，绕过平台设置的防火墙，一些敏感词也能用相关的联想词或“黑话”替代。
正是为了规避防不住的情况带来的法律风险，平台还设置了最后一道防线。刘星宇团队开发的陪聊智能体在接入拥有海量用户聊天平台时，平台对用户发送的内容也有一层过滤机制，如果涉及色情暴力等内容，会被平台撤回。
最后，《暂行办法》规定的上报机制，能为服务提供者规避“防不住”后的法律风险。
“如果你做情感陪伴要加很多限制的话，那用户必然会流失。”当下，安全与产品体验的矛盾在情感陪伴赛道很难解决，因此需要开发运营团队不断在合规和产品用户体验中作出权衡。刘星宇观察到，小型创业公司为获取用户会倾向后者，而大型平台会更求稳。“大家都是摸着石头过河的。”刘星宇说。
随着国家标准和法律法规的进一步完善，这一局面或将成为历史。就在AC案一审宣判一个月后，2025年11月1日，国标文件《网络安全技术生成式人工智能服务安全基本要求》实施，系统规定了生成式AI服务提供者应满足的安全基线要求：包括但不限于建立内容过滤机制防止生成违法不良信息；在生成内容安全性方面，应保证模型生成内容合格率不低于90%；对明显诱导生成违法不良信息的问题，应拒绝回答。
“国标文件的出台能够清晰地回应这一问题——服务提供者到底有没有采取有效的安全措施，到底做到什么程度才算有效。”上述人工智能治理法律学者说。
新京报记者刘思维诚金资产
炒股配资公司提示：文章来自网络，不代表本站观点。
