文 | 北京市海淀区人民法院 高曼洁 秦鹏博

近日，世界知识产权组织发布了最新的《生成式人工智能专利态势报告》。2014年至2023年，全球生成式人工智能相关的发明申请量达5.4万件，仅2023年一年就出现了超总数四分之一的申请量。其间，中国的生成式人工智能发明超过3.8万件，是排名第二美国的6倍。

人工智能类应用日渐成为人们关注的重点，一方面，以ChatGPT、Sora、New Bing、“文心一言”为代表的生成式人工智能类应用，利用人工智能技术生成内容，引发新一轮技术竞争。另一方面，AI大模型技术还在持续向多模态智能体飞速发展，表现为多模态（文本、图像、视频、代码）、Agent（具有智能的实体，是指以“云”为基础，以AI为核心，构建一个立体感知、全域协同、精准判断、持续进化、开放的智能系统）、具身智能（与机器人结合）等重点探索方向。AI大模型技术应用所依赖的AI大模型训练成为市场争相涌入的热地。在生成式人工智能类应用和AI大模型训练高歌猛进的同时，不少国家和地区开始按下暂停键。

近期，欧盟将ChatGPT等生成式人工智能类应用列入高风险人工智能范围清单。意大利率先宣布，出于保护隐私的考虑，在全国范围内禁用ChatGPT。加拿大对ChatGPT的开发公司OpenAI开展调查，主要调查内容为公司是否未经用户同意收集用户信息。一些高校、企业也部分禁用ChatGPT。这些举措足以表明，生成式人工智能类应用在给人类跃迁式发展提供无限机遇的同时，也给互联网虚拟空间与现实社会秩序带来难以预测的挑战。

五类刑事犯罪风险

去年8月15日，国家互联网信息办公室联合相关部门发布《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）。《暂行办法》从立法角度规范我国生成式人工智能类应用的发展路径。科技发展带来变革的同时，必然伴随或加剧社会风险，甚至有触及刑事法律红线的风险。笔者认为，生成式人工智能类应用在使用中易引发以下五类刑事犯罪风险：

第一，鉴于生成内容具有“类人性强”特点，易引发诈骗类犯罪。“百科全书式”聊天机器人能高度模拟真人口吻，具有极强“类人性”，容易让人产生信赖，易引发感情类、财产类诈骗。如行为人通过ChatGPT生成完整的诈骗话术，再把ChatGPT包装成“虚拟角色”，使受害人误以为自己“坠入爱河”并遭受诈骗行为。笔者发现当前出现了众多名称中包含“ChatGPT”字样的微信公众号、小程序、网页、手机应用。这些“山寨版”ChatGPT虚假链接，通过吸引网民点击链接或下载使用，误导网民填写个人信息甚至进行付费，存在损害用户财产利益的风险，可能涉嫌诈骗罪。

Sora作为文生视频模型，可以根据用户输入的描述性文字快速生成视频，并可向前或向后扩展现有视频。与以往行为人利用AI换脸的伪造行为不同，Sora生成视频属于“深度伪造”，识别发现难度更大。一些不法分子以“Sora最新技术指导、课程培训”等名义，在社交平台上发布付费教程。然而，Sora模型的开发者从未向公众开放使用权限。因此，前述行为绝大多数为低价引流，进而实施诈骗行为。伴随短视频平台的商业化扩展，部分不法分子利用人工智能文生视频模型生成带货主播，进行诈骗。此前，部分直播平台通过文生视频模型生成“俄罗斯美女”，打出“帮我回家乡”的口号，售卖所谓的“俄罗斯特产”。虽然直播平台已经作出“AI”标识，但部分中老年群体仍难以分辨，有的甚至被诈骗钱财。在陕西等地，已经发生了运用AI换脸技术虚拟“多人视频会议”“视频通话”等场景，诈骗受害人巨额财产的案件。

第二，行为人篡改后台程序算法，易引发涉计算机类犯罪。“山寨版”ChatGPT生成虚假链接，引诱对话人点击后，可能发生恶意攻击电脑设备、侵入特定领域的计算机信息系统、非法获取相关数据等行为，涉嫌非法侵入计算机信息系统罪、破坏计算机信息系统数据罪等。如网络黑客入侵生成式人工智能类应用后台，篡改信息生成算法和检索内容，定向修改某类检索内容结果，易误导网民，破坏网络公共秩序。

第三，对海量内容可实现精准搜索，易引发传播淫秽信息、传授犯罪方法类犯罪。生成式人工智能类应用依靠抓取海量数据，并通过深度学习算法生成检索内容。若某些网站专门提供前述信息的生成式人工智能的检索服务，将极大降低获取违法犯罪信息成本，提高犯罪方法信息精确度，增加相关违法犯罪行为发生的风险。

第四，此类应用生成内容可靠性存疑，易引发侵害人格权类犯罪。ChatGPT等生成式人工智能类应用是对海量信息的加工与整合。虽然有的信息可能涉及个人隐私，但也作为生成式人工智能类应用的信息源之一，且生成内容以“检索结果”的形式展示，易让用户误认为“检索结果”就是“标准答案”。若用户不加甄别地使用、盲目引用未经核实的信息，可能涉嫌侮辱、诽谤、侵犯公民个人信息等侵害人格权类犯罪。行为人并不能以信息来源于互联网而免除刑事责任的承担。

笔者以Sora模型为例，利用Sora伪造视频传播虚假信息，容易引发社会舆情风险。部分自媒体用户为了吸引流量，利用Sora生成虚假视频或篡改真实视频，将其散布网络后博取流量并借机牟利。目前，侵权载体呈现出从静态图片发展为动态短视频的趋势。同时，这类虚假视频往往利用了网民对险情、灾情、警情及明星个人隐私关注度较高的特点，极易引发社会舆情。2023年7月，不法分子利用人工智能视频模型制作“浙江省绍兴市上虞区一工业园区发生火灾”虚假视频，短时间内流量迅速攀升，造成严重社会不良影响。

此外，平台运营商也存在侵害用户个人信息的风险，如意大利限制ChatGPT的研发公司OpenAI处理意大利用户的信息，理由为该平台出现用户对话数据和付款服务支付信息丢失的情况，且未就收集处理用户信息进行告知，缺乏大量收集和存储个人信息的法律依据。

第五，生成内容的信息源跨越多个平台，易引发侵犯知识产权类犯罪。虽然AI大模型训练“投喂”的数据源于网络，属于对初级信息的二次加工，但加工行为与原创智力成果的边界尚不明确。对于已在互联网公开但著作权仍属于著作权人的作品，行为人的引用或加工程度不当则可能构成侵犯著作权等犯罪。如此前ChatGPT研发公司OpenAI遭遇集体诉讼，被指控在未经许可的情况下使用受著作权保护的源代码。

一方面，不当使用文生视频模型的行为增加了侵犯著作权、人身权等侵权风险。具体而言，首先，生成视频易对原始素材的著作权产生侵权。Sora模型采用“文字输入—视频输出”模式，其运作基础是广泛的数据收集与深入的模型训练，并整合与文本指令相关联的已有视频、图片等素材。这涉及未经授权使用他人持有著作权的素材或模仿已有素材，可能侵犯作品复制权，其生成内容可能侵害改编权。在2024年广州互联网法院审理的上海某文化发展有限公司与广东广州某科技有限公司网络侵权责任纠纷案（该案被称为“首例生成式人工智能类应用平台侵权案”）中，被告网站可通过AI绘画功能生成与原告公司享有著作权的涉案“奥特曼”形象相同或类似的图片供用户查看和下载，法院认为，案涉生成图片部分或完全复制了“奥特曼”这一美术形式的独创性表达，其行为侵犯了案涉“奥特曼”作品的著作权。其次，生成视频易对相关主体人身权利产生侵权风险。当行为人利用Sora模型制作视频时，可能会利用大量含有个人信息的数据，不当利用或泄露这些信息，必然会侵害自然人的肖像权、隐私权、名誉权等人身权利。最后，由于训练数据的构成、规模、算法不同，最终的生成内容有可能出现歧视、偏见等损害特定群体权益的情况。

另一方面，AI大模型训练对现有知识产权体系带来巨大挑战。AI大模型训练是指通过大规模的数据收集和筛选，运用强大算力对数据进行清洗、格式转换、特征提取等处理行为后，通过模型深度学习，解决复杂问题。AI大模型训练所依赖的海量数据的合法性授权尚不明确，易侵犯著作权人复制权、演绎权及信息网络传播权等，而利用他人作品用于模型训练是否构成合理使用法律规定也不明确。

服务提供者需承担的责任

从上述调研结论中不难发现，生成式人工智能类应用承担了信息收集者、信息加工者两个角色，最终成为服务提供者。把控好生成式人工智能类应用作为前端服务提供者的行为责任，能从源头降低刑事法律风险。《暂行办法》明确并强化了“提供者责任”。概括来说，生成式人工智能类应用的提供者需要承担的责任主要包括以下几个方面：

第一，信息源责任。内容提供者要确保信息源可信，从数据安全、个人信息保护、知识产权等方面，从源头处保证信息来源合法合规。如《暂行办法》第七条规定，生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，使用具有合法来源的数据和基础模型。可见，提供者首先应当为信息的来源负责。但是，面对海量数据，如何进行信息过滤和筛选，尚需要提供可行性方案，以便提供者能够更好地把握信息来源。

第二，生成内容责任。与传统的搜索引擎不同，生成式人工智能类应用不是简单的链接提供者，而是根据现有网络信息通过算法加工而成的结果，其仍然要合法合规。《暂行办法》第四条规定，提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，需要做到诸如体现社会主义核心价值观、防止算法歧视、公平竞争、防止形成虚假信息、禁止非法获取个人信息和商业秘密等。可见，提供者需要对最终生成的内容承担符合道德、符合法律的义务。同时，在生成内容责任中，《暂行办法》特别提出了对人工标注的规范。其第八条明确指出：“在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。”对标注的人员、标注的内容进行规范，也是对算法生成中一个重要的人工参与步骤进行合理引导，从而提高生成内容的合法合规性。

第三，流程报备责任。其主要包括申报安全评估、前置算法备案等义务。《暂行办法》第十七条规定，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。通过报备的方式，使生成式人工智能类应用置于主管部门管理之下，也便于在发生违法违规行为时及时进行处理。

虽然现行法律法规对生成式人工智能类应用进行了一定程度的规范，但仍然缺乏实施细则明确信息收集、储存、加工、利用、销毁等各个阶段的操作方法，造成监管体系不完备，行业“多头监管”存在盲区风险。如ChatGPT等文生视频模型本质上属于算法推荐服务，目前关联规范主要有《互联网信息服务深度合成管理规定》《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》，多部法规衔接形成了人工智能类应用的监管体系。虽然这些规范详细列举了服务提供者及使用者的负面清单，概括表述了各自的监督责任与法律责任，但没有规定配套处罚措施，导致惩戒威慑力不足。同时，上述规范涉及网信、发改、教育、科技、工业和信息化、公安等多个部门，“多头监管”下易引发监管竞合或“监管真空”问题。其中，治理主体的权责划分不够明确，服务提供者、技术支持者及使用者的责任划分、归责原则等尚处于空白状态，易成为监管盲区。

解决路径

通过调研并结合《暂行办法》，笔者针对生成式人工智能类应用可能发生的刑事法律风险，提出以下四点建议：

第一，加大普法宣传力度，增强网民反诈意识，引导网民合法合规使用合法软件，准确识别被伪装过的“山寨链接”，避免泄露个人信息。面对科技领域的技术进步，法律工作者需要做好风险预判和普法宣传，让群众的风险意识与科技创新并行。同时，加强人工智能方面的伦理治理和制度监管，对自媒体用户上传的视频加大审查力度。此外，对训练数据及深度合成内容，要按照法律法规要求进行标注，以降低民众受骗风险。

第二，加快关于新技术的规范立法工作，探索算法推荐等技术管理制度的落地路径，明确自动生成内容类应用检索信息的边界，提高应用开发和应用算法透明度，确保生成式人工智能类应用的开发和推广活动以安全、道德、尊重公民权利和隐私的方式开展。加快健全相关法律规范，加强知识产权保护，明确人工智能生成物纳入《中华人民共和国著作权法》保护范围的标准及认定规则，明确其著作权归属、合理使用范围及侵权责任承担，保护创作者的合法权益。

第三，加强对新兴技术的监管，确保模型训练的数据来源可信可靠，对于未在互联网公开或权利人明确禁用的信息源，及时督促运营企业从模型数据库中剔除，确保使用的正当性。构建多元共建、多方共管的治理格局，建立健全惩治体系，及时填补监管体系空白，做到技术治理、社会治理和法律治理的共同推进。

第四，完善救济途径，在智能AI发布后，以提供补丁网站的方式，便利相关权利人提交不予授权的声明，并及时删除不予授权的信息源，以避免后期的权属争议。

总之，虽然生成式人工智能类应用在科技领域具有颠覆性，但其在全世界范围内应用时间尚短，需要对其应用过程中产生的风险进行有效的法律评估。只有同步评估法律风险，才能让科技在正确的轨道上为人类所用。

本期封面及目录

<< 滑动查看下一张图片 >>

《中国审判》杂志2024年第13期

中国审判新闻半月刊·总第347期

编辑/孙敏