新闻1+1丨全国首例AI“幻觉”侵权案 为何这么判

一位高考生的幻觉哥哥梁某在查询高校信息后，发现AI平台生成的新闻信息存在错误，AI则表示，丨全国首安康新闻网综合频道直播内容有误将赔偿10万元。侵权案一气之下，为何梁某将AI平台的幻觉研发公司告上法庭。近日，新闻杭州互联网法院作出一审判决，丨全国首驳回诉讼请求。侵权案法院为什么会这么判？为何看似聪明的人工智能，为何会产生“幻觉”？幻觉怎样为生成式人工智能服务厘清责任的边界？《新闻1+1》带来分析解读。

为何提供AI服务的新闻公司不需要负责？

全国首例AI“幻觉”侵权案一审结束，法院的丨全国首判决结果中说，AI不是侵权案一个民事主体，所以它不能作出意思表示。为何安康新闻网综合频道直播AI它不是人，所以它自己不能负责，那为什么提供AI服务的公司本身也不负责呢？

全国首例AI“幻觉”案主审法官 杭州互联网法院一级法官 肖芄：AI生成的内容不准确有很多原因，其中最根本的原因是AI模型在训练的过程中，教会了它预测概率，而不是教会它理解事实。因此，生成内容不准确，在当前的技术情况下具有不可避免性。但也不代表服务提供者就可以免责。如果服务提供者尽到了法律规定的注意义务、社会交往过程中的注意义务、合同约定的注意义务后，生成的信息仍然不准确，通常还是不能认定服务提供者存在过错。

AI不具有民事主体资格，这在民法典中有明确的规定。但是AI生成的内容是不是可视为服务提供者的意思，这个需要分情况讨论。在本案的咨询问答场景中，我们认为不能视为服务提供者的意思。

这起案子审理的难点是什么？

回过头来看这起案子的整个审理过程，因为它是我们国家的首例有关AI“幻觉”的判例，在审理案件的过程中，最有挑战的地方在哪里？

肖芄：我个人觉得，最难的点在于AI科技创新和产业发展与当事人合法权益之间的平衡。通过在AI侵权责任案件中适用一般侵权责任原则，也就是过错责任原则，更好地为AI的服务提供者提供明确的边界标准，使他们能够在一个相对明确的标准中更好地创造和应用AI。

AI“幻觉”产生的原因是什么？

在普通人的认知里面，AI是一个更高级的大脑，它懂得更多、算得更快，而且可能会更加聪明，不生病也没有情绪，更加稳定。但为什么会有AI“幻觉”，它产生的原因是什么？

中国社会科学院大学互联网法治研究中心主任 刘晓春：AI“幻觉”，一方面，现在生成式人工智能基础的技术原理、技术规律，导致它是一个预测式的，而不是像人脑一样去理解的过程。另外，也跟AI训练过程有关，比如数据优化训练的过程，比如AI是“讨好型人格”，实际上AI会希望更好地为用户解答问题，这时它可能发挥想象空间，产生了一些“幻觉”。

如何平衡创新和保护公众权益之间的关系

未来，从监管的角度来看，怎么来鼓励创新和保护公众的权益，在风险防控和促进发展之间去做好平衡？

刘晓春：首先，这个案例给出的底线，或者说基础的规则还是蛮好的，我们并不要求产业界给到一个百分之百没有“幻觉”的交付标准。产业是可以在这个基础之上更好地放开手脚发展。

另一方面，比如这个案例提到的是一个并不存在高风险的场景，也就是说，用户用完可能有一些不准确的信息，但是有办法通过其他的验证手段去避免。所以在这种情况之下，不属于高风险，也不属于严格的产品责任。实际上，在法律或者监管的过程当中，可能有一些场景，比如说像关系到人民生命健康的，或者关系到财产安全的，像医疗健康、金融投资，包括法律领域，其实希望人工智能能够给出更加准确的、容错率更低的回答。

在这些应用过程当中，法律实际上可以去区别基础模型和模型应用两个场景。基础模型，比如案子当中涉及的，可以更快地往前去跑一跑，不用承担那么重的责任。但是如果有应用方把人工智能的工具，比如应用到比较严格、高风险场景的时候，这个时候可能需要法律能够去给它更清晰的标准，比如说特定行业的技术标准，来预防高风险的，或者说给人民群众造成更大意义上的损失。

从法律角度 如何提前化解AI“幻觉”风险

像AI“幻觉”会是AI技术在狂飙突进当中的一个阶段性的产物，还是说会始终伴随AI技术的发展，是一个无法去改变和完全消除的技术缺陷？未来假如是第二种情况的话，那从法律的角度上，怎么样更好地去界定这个权责，能够提前去化解风险？

刘晓春：在技术的原理上看，如果技术基础的模型没有产生本质性变化的话，AI“幻觉”有可能会伴随着人工智能产业一直发展。也不是说不能完全消除，只是说如果要降低“幻觉”，也是要付出相应的成本。可能整个产业需要在某些领域投入更多的成本，去限制或者降低AI“幻觉”。

在法律上其实很重要的是识别出一些随着产业的发展，能看到的一些跟老百姓的生命安全、财产安全等根本利益相关的领域，识别出这些高风险的领域。然后针对高风险，要求产业去投入更多的资本，针对性地去降低“幻觉”。同时包括产业也需要去进行一些提示，特别在一些比较敏感的，比如大家进行情感陪伴，或者把自己很多基础的信赖放在AI上，这个时候是需要建立更清楚的责任的边界，使得产业能够去更好地降低“幻觉”带来的损害。