赛格特约作者 画画
杭州互联网法院最近判决了一起标志性案件。
全国首例因“AI幻觉”引发的侵权诉讼。原告使用某AI产品时，AI生成了一段带有“赔偿承诺”的内容。结果后来发现，所谓“承诺”并不存在法律效力。原告起诉平台，认为自己因为AI的回复遭受损失。
法院最后怎么判？
一句话：AI没有民事主体资格。AI不会形成意思表示。AI生成的承诺，不等于平台公司的承诺。
紧接着，还有另一件事。
一位执业律师，被百度AI错误描述为“曾被判刑三年”。律师起诉，百度败诉后又上诉。
两件事放在一起，会发现一个非常微妙的问题：
AI最大的危险，也许不是胡说八道。
而是，它越来越像一个可以被信任的人。但实际上，它并不是。
AI第一次撞上了社会真正的地板
过去两年，整个AI行业都在讨论一个词：幻觉（Hallucination）。
以前，这更多是技术圈的自嘲。模型编造参考文献、虚构历史、一本正经地推导错误的公式。大家知道它有问题，但并不真正紧张。因为在纯数字世界里，写错一个年份、算错一道题，通常只是内容误差，代价极低。
但这一次，法律的介入让性质变了。当AI的回复涉及金钱承诺和人格评价时，问题直接从技术参数跳跃到了社会责任。
AI第一次撞上了现实社会真正的地板。
技术可以容忍千分之一的误差，但社会规则不行。当AI生成的文字开始干扰法律契约和个人名誉时，它就必须接受社会秩序的审判。
Chatbot的问题，不是聪不聪明
很多人至今仍然误解AI，认为它最大的问题是不够强。
其实不是。今天的大模型已经足够聪明。GPT-5.5、Claude、Gemini、DeepSeek、Kimi，在很多场景里的语言能力已经超过大量普通人。
真正的问题在别处：它们无法建立稳定可信的责任关系。
互联网过去二十年的本质，不仅仅是连接了人与人，核心是建立可被验证的信任协议。
淘宝为什么能成功？不是因为能聊天，而是支付宝建立了担保交易。微信为什么能深入生活？不是因为聊天界面做得好，而是微信背后绑定了真实社交关系、手机号、支付体系、熟人网络。滴滴为什么能让陌生人上你的车？因为平台承担了身份验证、订单记录、支付托管、评价体系。
互联网真正伟大的部分，从来不是信息，是信用结构。
今天的大模型恰恰缺这个。
用户跟AI之间，不存在任何意义上的契约关系。AI给你一个回答，背后没有来源追溯，没有法律效力，没有责任主体，没有赔偿机制。它的承诺不是承诺，它的建议不是建议，它的回答不构成任何人的意思表示。法院已经判了。
网友退票被AI误导，损失600元。AI再次展现出了惊人的高情商和画饼能力，它不仅诚恳认错，并立下字据：如果平台不赔，它全额补齐，绝不食言。
AI最危险的地方，是"太像人"
过去的软件不会骗人。因为过去的软件根本不懂得表达。
Excel不会突然告诉你"我保证帮你赚钱"。地图软件不会说"放心，我一定带你到"。
但Chatbot会。
大模型的底层逻辑就是拟人化语言生成，天生追求流畅、自然、像真人、情绪稳定、高度确信。
人类会天然把像人理解成可承担责任。这是生物本能。一个客服对你说"放心，我们会赔偿"，你会默认这代表公司态度。因为在人类社会里，语言本身就是责任的一部分。
但AI不是，AI只是概率生成。
这里出现了一个诡异的断裂，AI越来越像人，但法律仍然把它定义成工具。它拥有人的表达能力，但没有人的责任能力。它拥有人的沟通能力，但没有人的信用能力。像一个会说话的人，但法律认为它本质上仍然是一把锤子。
而在一个对话框界面里，正确的回答和幻觉的回答看起来完全一样，同样自信，同样流畅，同样有理有据。这构成了某种意义上的算法傲慢，用户根本分辨不了。
法院这次真正划清的，是边界
很多人觉得这次判决只是一起普通侵权案。
实际上，它真正重要的地方在于，法院开始为AI时代重新划定责任边界。
杭州互联网法院的逻辑非常清晰。AI不能成为意思表示主体。平台没有主动表达赔偿意愿。用户也不应该对随机生成内容形成完全信赖。
这本质上是在告诉整个行业：AI生成内容，不是平台的法定表态。
这个口子非常关键。因为如果反过来，所有AI生成内容都被视为平台正式表达，整个大模型行业今天就没法运营。
生成式AI天然不可控，这是Transformer架构决定的，不是数据库检索，不是规则系统，不是确定性程序。本质上是基于概率的语言预测系统。
只要是概率系统，"幻觉"就无法彻底消失。
判决书里还有一句非常关键的话，认同了平台无法做到零幻觉。
这等于司法层面第一次正式承认：AI犯错，不是偶然漏洞，是技术本性。
但百度那个案子又提醒了另一条线，法官当庭追问"为什么豆包、DeepSeek上问同样的问题没有出现这些内容"，言下之意是，技术不可控不是免责金牌。
AI有“幻觉”，责任无死角。
针对特定自然人的诽谤性内容属于可预见、可防控的高风险范畴。你有能力做而没做，就是过错。
两个判决放在一起，其实画出了一条很清晰的线：底线以下的违规（诽谤、造谣），平台必须承担审核失职责任。底线以上的事实瑕疵（一般性不准），风险由用户自担。
法律目前能做的就是兜底线。但大量的灰色地带，错误的航班信息、不靠谱的医学建议、编造的商业数据，用户只能自己判断。
问题是：在一个对话框界面里，用户凭什么判断？
真正危险的地方，还没到来
现在的问题只是说错话。
以后会变成什么？AI帮你理财。AI帮你看病。AI替你签合同。AI替老人做养老决策。AI替公司完成采购审批。
一旦AI开始进入真实决策链条，今天这个问题会急速放大。因为现实世界不接受概率正确。现实世界需要可追责、可解释、可验证、可归因。
金融行业为什么至今对AI极其谨慎？原因在于金融系统最核心的不是智能，是风险定价与责任闭环。一笔贷款之所以能放，是因为每一个签字都能找到责任人。医生为什么不能完全交给AI？因为医疗体系最终需要有人承担不可逆的后果。
今天的大模型，在能力上已经接近很多专业人士。但在责任链条的整合上，还处于蛮荒时代。
微信和苹果，悄悄在做一件事
整个行业都在卷参数、推理、Agent、多模态、视频生成、世界模型。但真正没人解决的问题其实是另一个：如何将AI锚定在现实法律体系中。
不过，有几个玩家在用不同方式靠近这件事。
微信正在做的智能体，可能是目前最接近AI信任基础设施的尝试，它的智能体不是一个孤立的对话框，是长在微信的关系链里。商家的智能体背后绑着微信认证、支付体系、交易记录。
这种“有根的AI”，让承诺变得可追溯，让幻觉变得有代价。
微信天然拥有的实名体系、支付闭环、社交关系链、平台仲裁机制，恰恰是所有独立AI chatbot最缺的东西，微信不需要重新发明信任，天生就已经有了。
社交关系链是管道的根，社交关系为AI内容"注入"信任——信任不是来自内容本身，而是来自传递内容的人。
苹果走的是另一条路。Apple Intelligence的核心逻辑是AI运算尽量在本地完成，数据不出手机。解决的是隐私信任，我敢让AI碰用户的数据。苹果用了十几年建立起来的最注重隐私的科技公司这个品牌认知，成了它做AI最大的资产。
这两家做的事看起来不一样，底层逻辑完全一致。不是在比谁的模型更强，而是在比谁能让用户先信任自己的AI。
AI的浪潮中，苹果的节奏显得格格不入。这种迟缓，在很大程度上源于苹果根深蒂固的“后发制人”哲学——不求最早，但求走得更远，更稳。
而那些独立AI助手呢？模型可能更强，但跟用户之间是"裸聊"，没有身份、没有契约、没有追溯、没有后果。用户会在情感上越来越依赖它们，但制度上，它们仍然是无主体的存在。
AI行业正在经历一个被忽视的转折
过去两年，整个AI行业的主线是模型越来越强。
接下来几年，行业真正的主线可能会变成，模型如何被社会允许。
注意，是允许。技术能做到，不等于社会能接受。
互联网早期最大的问题是假消息和信任缺失。后来花了二十年，建起了实名制、蓝V认证、平台审核、支付托管、信用评分，一套你可以相信屏幕另一边是个人的系统。
AI时代的问题更复杂。因为现在你面对的可能根本不是真实的个人。它没有情绪，没有道德，没有利益，没有人格。但它又能无限模仿这一切。
当一个不存在的人开始进入社会协作体系，社会如何继续运转？
这可能才是AI时代真正的大问题。
今天杭州互联网法院这个案子，看起来只是一次普通判决。但它背后其实是在提前回答一个更大的问题：AI到底是工具，还是主体？
至少现在，司法给出的答案仍然只是工具。而谁先建立让这个"工具"变得可信任的责任体系，谁就拿到了下一代平台的门票。
大模型缺的从来不是算力，而是一套能让AI社会化的信用基础设施。