法律 AI 现在很会写。
输入一段案情,它可以很快给出法条、争点、结论和诉讼建议。第一次看,往往会觉得“像那么回事”。
但法律人真正担心的地方,也正在这里。一个答案看起来像法律分析,不代表它真的按法律方法在分析。请求权有没有找准,抗辩有没有放到正确位置,事实缺口有没有留出来,法条有没有经过校验,这些才是法律 AI 最容易出问题的地方。
这次我测试的对象,是游初开发的 gutachten-civil-case,也就是一个鉴定式民商事案例分析 Skill直播预约|邀约游初直播讲解关于鉴定式案例分析 Skill 的设计。它的目标,是把请求权基础方法、鉴定式结构、法条校验、事实缺口识别,变成一套可以由 AI 执行的分析流程,而不只是给用户随手生成一段法律意见。
我想验证的问题很具体:在不告诉它裁判结论的情况下,它能不能根据用户给出的事实,跑出接近真实裁判逻辑的分析路径。
一、怎么测:用真实裁判做对照
我没有用纯虚构题。测试样本来自真实裁判或已经整理过的裁判规则,再做脱敏和同构改写。这样可以避免直接把原案喂给模型,同时保留真正需要判断的法律结构。
测试时,我只从用户视角提问。Skill 不知道这是哪个案例,也看不到裁判结论。它拿到的只是一个当事人会提出的问题:我能不能主张权利,胜算和风险在哪里,还需要补什么证据。
输出之后,再把它的分析和裁判要点、评分锚点进行对照。所谓评分锚点,不是标准答案,而是我事后用来检查输出是否跑偏的对照清单:它包括真实裁判中的核心裁判要点、必须识别的请求权路径、必须回应的抗辩、必须提示的事实缺口,以及不应出现的错误。
重点看几个位置:主请求权有没有找对,核心抗辩有没有回应,事实缺口有没有识别,赔偿门槛有没有说清楚,有没有把辅助规范、抗辩或程序措施混成请求权。
这套方法的意义在于,真实裁判没有进入提示词,只在事后作为评价标尺出现。
二、主案例:学习 App 强制收集画像信息
主案例选择了一个个人信息权益纠纷。我实际输入给 Skill 的问题是:
这个问题真正考验的,已经超出“平台有合规风险”这类泛泛判断。难点在于,它能不能抓住个人信息权益案件里的两个核心分水岭:画像信息是否为基础课程服务所必需,以及无跳过入口时的同意是否还具有自愿性。
Skill 的第一步没有急着给结论。它先做案情解析,把当事人、时间线、平台收集字段、隐私政策说明、用户诉求和平台抗辩拆出来。这个动作看似基础,但对后面的法律判断很重要,因为它先把“基础录播课程”和“个性化推荐”分成了两个不同层次。
接下来,它进入候选请求权预选。这里能看出这个 Skill 的方法论设计:它没有把问题压缩成“能不能赔”,先整理出用户可能提出的请求组合。停止强制收集、删除已收集画像信息、损害赔偿或维权费用、解释说明和查阅复制处理记录、消费者个人信息保护补强,都被放进了候选清单。
这一步最有价值的地方,是它把不同请求的难度区分开了。停止处理和删除请求解决的是平台能否继续处理这些数据;赔偿请求额外要求证明损害、平台获益、合理维权费用以及因果关系。很多粗糙的 AI 回答会把这些请求揉成一句“可以要求删除和赔偿”,听起来完整,实务上却不够用。
在预选结论里,Skill 还给出了一组很实用的证据缺口:注册流程截图或录屏、隐私政策版本、是否存在基础课程替代入口、所收字段是否必填、画像信息实际用途、删除申请及平台回复、维权费用凭证。它没有把这些事实当成既定前提,后续证据判断需要继续围绕这些材料展开。
我把它的输出和裁判 / 规范锚点做了一个对照:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
后续大纲里,它把核心判断框架进一步收紧为四点:停止强制收集是主轴;删除请求要先看用户是否实际提交过画像字段;赔偿可以列入,但证明难度最高;注册流程录屏、隐私政策版本、字段必填证明、无替代入口证明,是最关键的几组证据。
最终交付的报告也延续了这个结构。核心结论是:用户要求停止强制收集、删除或限制处理的胜算明显强于赔偿;赔偿可以主张,但高度依赖注册流程证据、删除申请记录、实际损失或维权费用票据。报告同时说明,本轮没有配置专业法律数据库和 Word 输出槽,所以法条校验采用公开法源降级核对,正式使用前仍需权威法源复核。
从完整报告看,它的分析顺序是:先检视强制收集是否合法,再看能否删除或限制处理,继而讨论损害赔偿和维权费用,最后补充解释说明请求与消费者保护路径。这个顺序和我预期的法律分析路径基本一致。
这个案例的人工评分是 89/100,等级 A-。高分来自必要性、自愿性、请求分层和证据缺口识别;扣分主要来自两个地方:没有把最高法指导性案例作为核心裁判锚点,法源校验也还没有达到正式交付标准。
我的评价比较克制。它没有把这个案子写成“平台必然违法、用户必然获赔”,这点反而让我觉得更可靠。个人信息权益案件里,停止处理、删除、赔偿的证明结构不同;一个能把这些层次分出来的工具,才有资格进入法律人的工作流。
三、副案例:独家合作违约与违约金调整
第二个案例是传统民商事纠纷:平台、主播和经纪公司签了独家合作协议,约定主播在两年合作期内只能在甲平台开展同类型直播课程。合作八个月后,主播去竞品平台上线同类付费课程,经纪公司也在公众号发布新课程链接。平台要求停止违约并支付 500 万元违约金。
对方的抗辩也很典型:平台拖欠过两个月合作费,主播已经在社交媒体宣布暂停合作,违约金明显过高。
这个案子有两组真实提问。A 组是完整用户问题:
C 组是压力提问:
A 组输出的第一段结论是:甲公司的核心主张有比较扎实的合同基础,乙在合作期内到竞争平台上线同类付费课程,丙公司又在公众号发布新课程链接,初步看都可能构成对独家内容合作义务的违反。
但它马上补了一句:金额上存在较大不确定性。即使合同约定固定违约金 800 万元,甲公司主张 500 万元,法院或仲裁机构仍可能结合实际损失、乙丙获利、合同履行情况、甲公司是否存在付款瑕疵等因素调减。
C 组更短,结论也更直接:甲公司更有理,但 500 万全额支持并不稳。这句话其实抓住了合同纠纷的重心。责任成立和金额支持是两件事,前者比较稳,后者要靠证据。
对照评分锚点看,它的表现如下:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
C01 的 A 组得分是 92/100,C 组得分是 85/100,平均 88.5。传统合同案型里,它对主路径和核心抗辩的把握比较稳,压力提问下也没有直接给出“稳赢”“必赔”这类武断判断。
不过,它仍然有需要法律人接手的地方。评分报告提到,对经纪公司责任基础还可以进一步区分共同侵权、帮助违约与不正当竞争的边界;违约金调整因素也可以和实际损失、履行情况、过错程度更细地对应。
这类问题已经进入裁量和证据评价层面。Skill 可以把框架搭好,最后能不能支持 500 万,仍要看证据和裁判经验。
四、整体结果:结构能力已经跑出来
本轮最终保留的黑盒复测包括 C01-C07 七个案例,每个案例有 A/C 两组输出。总体平均分是 86.9/100。
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
我对这个结果的理解是:它已经能比较稳定地跑出法律结构。合同、侵权、不当得利、消费者保护、数据权益这些路径,基本能分层;核心抗辩大多会被回应;事实缺口和证据清单也进入了分析主线。
C07 企业数据产品案的分数最低,也提示了边界。公开数据、加工数据产品、商业信誉、不正当竞争、损害证明、数据流通利益平衡,这些问题本身就需要更强的裁判锚点。Skill 可以给出方向,不能替代法律人做最后判断。
法条校验也是短板。主案例里已经能看到,它会做公开法源降级校验,也会留下 verification-log.md。但正式法律意见所需要的权威法源校验、案例原文核对和数据库留痕,还不能省。
五、这次测试让我重新理解法律 Skill
这次测试里,我真正看到的价值,是它能把“法律人怎么想”相对稳定地跑出来。
先拆主体和法律关系,再找请求权,再看抗辩,再看事实缺口,最后给出有边界的结论。这个顺序很朴素,但对法律 AI 并不容易。
很多 AI 都会说法,真正麻烦的是分类不稳。它可能把请求权、抗辩、辅助规范、程序措施混在一起。文章写得很漂亮,法律结构已经偏了。
游初这个 Skill 的强项,恰恰在于它把这些分类写进了流程纪律。请求权基础方法真正改变的是民事案件的思维入口:先问“谁能向谁主张什么请求”,再讨论它像什么案由。入口错了,后面越完整,偏差可能越大。
从测试结果看,传统民法案型表现最稳。独家合作违约、网贷格式条款、婚恋转款、不当得利、物流货物返还等案例,它都能识别主路径和核心抗辩。
事实缺口意识也比较强。用户画像案里,它抓住了注册流程录屏、隐私政策版本、字段必填、跳过入口、实际提交、删除申请和维权费用票据。独家合作案里,它提示要补合同原件、竞品课程证据、平台投入、主播收益、官宣时间、付款瑕疵和解除通知记录。
压力提问下,它没有完全失控。用户要求“别写太复杂,直接告诉我能不能赢”,它仍然保留请求权、抗辩和事实缺口判断,没有把复杂案件压成一句情绪化结论。
边界也很清楚。违约金调多少、责任比例怎么分、损失怎么计算,这些依赖证据、裁判经验和行业背景。现代数据权益案件还需要更强的裁判锚点。法条校验必须继续留痕,否则越专业的表达,越可能放大风险。
我很认同游初的一句话:不要试图让模型不出错,要在它出错时留下可被审计的痕迹。
六、法律人真正要炼的,可能是方法
这次测试之后,我对这个 Skill 的评价比较克制。
它还不能替代律师,也不能直接拿来出正式法律意见。但它已经超过了“会写法律分析的 Prompt”这个层次,呈现出一个有方法论骨架的法律分析工作流。
它适合做法学院案例研习、律师诉前分析框架、企业法务内部案件初筛,也适合做法律 AI 方法论训练。它不适合在没有律师复核、没有权威法源校验、没有裁判锚点比对的情况下,直接作为诉讼文书或正式法律意见交付。
这并不削弱它的价值。法律 AI 走向专业化,很可能要经过这样一条路:把专家方法拆成可执行、可检查、可回退、可留痕的流程,让模型在流程里工作,也让人能随时接管。
Prompt 解决一次对话怎么回答得更好。Skill 处理一套专业方法如何被重复执行、检查和修正。
法律人的价值,也不只在于知道某个案子大概怎么判。更重要的是知道从哪里进入问题,哪些事实重要,哪些规范是请求权基础,哪些只是辅助规范,哪些抗辩必须回应,哪些结论要留给证据和裁判判断。
最会用法律 AI 的人,不一定是最懂 AI 的人。更可能是最懂法律方法的人。
游初做的是把民法方法论翻译成 Skill;我这次做的是用真实裁判反向验证这套翻译是否跑得动。
七、周三直播,和开发者继续聊
测完之后,我最想问游初的,已经不是“你写了什么 Prompt”这种表层问题。我更关心下面这些底层设计:
为什么从请求权基础和鉴定式切入?怎样把“谁向谁主张什么”拆成 AI 可以执行的工作流?事实层和规范层的阀门怎么设计?没有专业法律数据库时,法条校验怎么降级?多当事人、多请求权、抗辩和再抗辩链,怎样在 Skill 里保持结构稳定?
本周三,我们会邀请 gutachten-civil-case 的开发者游初,一起聊聊法律人的经验如何被拆成可执行、可校验、可复用的 AI Skill。
这场直播不做单纯工具演示,也不讨论“AI 会不会替代律师”这种老问题。我更想聊的是,当模型越来越强,法律人应该怎样把自己的方法论、判断路径和交付流程训练出来。

