一、别用厂商的演示做判断
去看演示的时候，几乎所有人都会被同一个东西打动：一份合同丢进去，几十秒后风险点、修改建议、法条依据全出来了，条理比所里新来的实习律师还清楚。
然后回到所里，拿自己手上正在办的一个案子试，结果完全不同。原因不复杂：
- 演示用的是厂商挑过的样本。格式规范、扫描清晰、没有手写批注、没有附件里夹着的表格照片。
- 演示的任务是通用任务。一份标准的采购合同，谁审都差不多；你们做的是建设工程再审、是股权代持纠纷，条款结构根本不一样。
- 演示只要「生成」，不需要「复核」。演示结束就结束了；你们要的是律师看完能签字。
所以判断一套本地 AI 能不能用，唯一靠谱的办法是：拿你们自己的卷宗，按一套事先定好的标准测一遍，让一线律师打分。这篇讲的就是怎么测。
先说清一件事：这篇不讲部署怎么做（那个在律所AI私有化部署怎么做里），也不讲该买哪一档（在律所上一套本地AI要花多少钱里）。这篇只讲测。
二、先划范围：只测两类任务，别拿终稿去测
测试最容易犯的错，是拿最难的那件事去测，比如「让它写一份代理词，看写得好不好」。测完一定失望，但这个失望不说明任何问题——它本来就不该干这个。
律所的工作按能不能交给 AI，大致分三类：
| 类别 | 典型任务 | 能不能自动 | 测不测 |
|---|---|---|---|
| 可自动 | 要素抽取、时间线梳理、卷宗摘要、格式整理、材料清单核对 | 可以，人来抽查 | 重点测 |
| 半自动 | 法条检索、条款比对、类案初筛、文书初稿 | 人来定，AI 铺垫 | 重点测 |
| 不得自动 | 法律意见、最终送件文本、出庭策略 | 不行 | 不用测 |
第三类不用测，不是因为 AI 太弱，是因为责任在人。一份送出去的代理意见，签字的是律师，AI 写得再好也不能替他承担后果。拿这一类去测，测出来的结论只说明你敢不敢，不说明它行不行。
所以要测的就是前两类。测试集也按这两类来配。
三、测试集：二十份，三种构成
样本数量没有标准答案，但有两条实际约束：少于十份，结论不稳，运气成分太大；多于五十份，人工核对的时间成本会让人放弃。
二十份是多数律所能在两周内消化完的量。这二十份这么配：
| 构成 | 份数 | 为什么要有 |
|---|---|---|
| 已结案的典型卷宗 | 12 份 | 有标准答案——当时实际提交的文书就是标答，可以逐条比对 |
| 手上最难的卷宗 | 5 份 | 跨页引用多、附件杂、有扫描件和手写批注，专测下限 |
| 埋了错的对抗样本 | 3 份 | 故意放假法条、错页码、不存在的判例，专测它会不会一本正经地胡说 |
第三类是很多人忽略的，也是最该做的。模型最危险的不是说错，是用非常自信的语气编。测法很直接：在一份真实合同里，把某一条的法条编号改错一个数字；或者问它一个不存在的指导案例编号。看它是老老实实说「查不到」，还是给你编一个像模像样的案号出来。
会编的那一类场景，直接回退人工，不要试图用提示词修。
脱敏这一关别省。真实的当事人姓名、身份证号、银行账号，在送进模型之前替换掉。本地部署的意义就是数据不出所，但测试阶段往往有人图方便用云端工具跑，这一步出问题，整个项目就没法往下谈了。
四、四个判定指标，和各自的及格线
这是全文最该记住的部分。测完一定要有数字，不能停留在「感觉还行」。
| 指标 | 怎么算 | 及格线 | 低于线怎么办 |
|---|---|---|---|
| 事实一致率 | AI 输出中每条关于本案的陈述，能在卷宗原文找到对应；找不到或对不上的计入错误 | 不低于 98% | 低于 95% 直接停用 |
| 引用可核率 | 给出的法条、司法解释、判例，能否在权威库查到，且条文内容与引用意图一致 | 不低于 95% | 补检索层，不是改提示词 |
| 漏检率 | 人工标注的应有风险点里，AI 没有提示的比例 | 不高于 15% | 先查知识库覆盖，再查任务拆分 |
| 人工修改率 | 律师复核时实际改动的字数占 AI 输出总字数的比例 | 初期不高于 50%，稳定后不高于 30% | 超过 60% 等于不如自己写 |
四个指标里有三个细节，是真正决定成败的地方。
1. 引用要核的是「页码对不对」，不是「案子对不对」
这一点绝大多数人没意识到。模型很容易做到「援引一个确实存在、主题也相关的判例」，但援引到的那一页，未必支持你要说的那个观点。这类错误叫同案不同页。
公开的评测数据里，判例援引错到另一个案件，几乎都能抓到；但 pinpoint 页码错，漏掉的比例在两成到六成之间。所以统计引用可核率时，必须把「案件对、页码错」单列一项，否则数字会好看得离谱。
2. 漏检的权重应当是误报的两到三倍
很多评测把漏检和误报混在一起算一个「准确率」，这是错的。多提示三条不存在的风险，律师花三分钟划掉；漏掉一条无上限的担保责任，可能是执业事故。两者代价不对称，就不能平均。
实操建议：把误差分成两类分别记，漏检记 1 分，误报记 0.3 分，最后看加权分。这样算出来的结果，才跟你真实的风险感受对得上。
3. 第四个指标要配一个时间指标一起看
人工修改率 40% 听起来还不错。但如果 AI 生成用了五分钟、律师改用了四十分钟，而他自己从头写只要三十分钟，那这套东西就是负收益。
所以要同时记两个数：AI 生成耗时和律师复核耗时。两者相加，必须明显小于律师从零做的时间。小于六成才算有意义，只小一点点不如不做——因为引入了新的心理负担（要不要信它、它为什么这么说）。
五、一周怎么排
不用等采购完、部署完再测。只要有了一套能跑的环境，一周可以出结论。
| 时间 | 做什么 | 谁参与 |
|---|---|---|
| 周一 | 选二十份样本、脱敏、标注标准答案 | 一位主办律师 + 一位助理 |
| 周二至周三 | 跑可自动类：要素抽取、时间线、摘要 | 助理操作，律师不看 |
| 周四 | 跑半自动类：法条检索、条款比对、类案初筛 | 助理操作 |
| 周五 | 跑对抗样本：埋错的法条、错页码、假判例 | 助理操作，记录它有没有编 |
| 周末前后 | 律师逐份复核、按四个指标打分 | 两到三位一线律师 |
| 下周一 | 判定会：过、不过、部分过 | 必须有合伙人参加 |
两个排期上的经验：
别让 IT 或行政单独测。他们测的是「系统跑不跑得起来」，不是「这东西能不能用」。真正该打分的是每天看卷宗的人。
判定会必须有合伙人。否则结论会变成「技术上没问题，但大家不太想用」，然后项目无声无息地黄掉。合伙人在场的意义是把「用不用」变成一个有后果的决定。
六、一个真实的自测结果
下面这段是我们做过的一个定制项目，客户要求不公开身份，所以只保留结构性描述：珠三角一家三十人左右的合伙制律所，以民商事诉讼和企业常年法律顾问为主，一年诉讼案件两百件上下，常法客户三十余家。所名、城市、具体业务领域都不写。
项目做的是本地部署（双卡服务器、三十亿参数级模型）加一套基于过往已结案卷宗的知识库，交付三类任务：合同审查、卷宗要素抽取、类案检索。
自测按上面那套方法跑，二十份样本，两周完成（比一周长，因为他们内部协调花了时间）。结果是这样的：
| 任务 | 实际表现 | 判定 |
|---|---|---|
| 要素抽取（当事人、金额、日期、案由、诉讼请求） | 结构化字段准确率 96% 以上；扫描件和手写批注会掉到九成出头 | 上线 |
| 时间线梳理 | 单份卷宗内准确；一审、二审、执行三段分开喂会串时序 | 上线，但强制人工核对跨卷宗顺序 |
| 合同审查（常法客户日常合同） | 违约、争议解决、保密、付款这四类条款识别率约八成；对赌、优先清算、股权回购这类结构复杂的条款明显下降 | 上线，只做初筛，不作结论 |
| 法条检索 | 条文能找到，但「案件对、页码错」的比例不低 | 上线，强制人工核页码 |
| 类案检索 | 受本地判例库规模限制，明显不如商业数据库 | 不上线 |
这里有两个结论，跟我们去之前的预期不一样，值得说。
最省时间的不是合同审查，是最不起眼的要素抽取
去之前我们以为合同审查是主打——所有厂商都在讲这个。跑下来发现，合同审查省的时间有限，因为律师本来就要通读一遍才敢签字，AI 摘要替代不了那遍读，最多是把注意力从「找问题」变成「核对问题」。
真正省时间的是要素抽取和时间线。这两件事是纯苦力：原来一个新入职的助理要翻几十页卷宗，把当事人、金额、每个时间节点手工抄进表格，做半天。现在几分钟出结果，律师抽查。它不改变律师的判断，只砍掉了判断之前的准备工作。
这个发现直接影响交付内容：我们后来把要素抽取做成了默认入口，打开卷宗就出结构化摘要，而合同审查退到第二屏。
用不用，取决于它长在哪个位置上
初期给律师开了一个独立网页，输账号密码进去用。一个月后台账显示，使用率不到三成。
后来改成嵌进他们已有的办案流程：打开一份卷宗，右边栏自动出现要素摘要和时间线，不用登录、不用切换、不用上传。使用率到了八成以上。
同一套模型、同一个准确率，只是入口变了。这件事的教训是：自测阶段就该问一句「它从哪儿被打开」，而不是等上线之后再看数据。
七、四种「测不过」，四种处置
测完不理想，先别下「AI 不行」的结论。多数情况是配置或方法的问题，处置方式完全不同。
1. 用老电脑试的
拿办公笔记本跑小参数模型，跑一份千字合同要五分钟，识别还错。这不是模型不行，是显存不够。十五亿参数的模型，逻辑能力大致相当于小学生，让它分辨人名和地名都属于超纲。
处置：换到符合配置的机器上重测。如果暂时没有机器，宁可先不测，也别用低配跑出个错误结论，把项目毙掉。
2. 知识库没建的
拿通用模型直接问「我们所代理的某个案子二审改判理由是什么」，它当然不知道——它没读过你们的卷宗。这时测出来的不是能力，是无知。
处置：先把过往已结案卷宗建成库，再测。这一步通常占整个项目一半的工作量，也是自测能不能过的前提。
3. 任务选错的
拿「写一份完整代理词」去测。产出确实像模像样，但每一条都要改，改完还不如自己写。
处置：换成可自动类任务重测。终稿类不在测试范围内，这是原则问题不是程度问题。
4. 期望错位的
指望它「替代一个初级律师」。实际它能替代的是初级律师的整理工作，不是判断工作。
处置：把期望写成一句可验证的话，比如「把一个案子的要素整理时间从四小时压到一小时，且错误率不高于人工」。期望写得越具体，越容易判。
八、几个常被问到的问题
二十份样本够吗？会不会太少？够判断「能不能用」，不够判断「有多好」。前者是买不买的决策，后者需要几百份的规模。多数律所只需要做前一个决策。
必须用已结案的卷宗吗？最好用。已结案的有标准答案——当时实际提交的文书就是标答，能逐条比对。在办案件没有标答，只能靠律师主观判断，结论会飘。
谁来打分？两到三位一线律师，不要一个人。一个人的判断会被他当天办的那个案子带偏。三人各打一遍，看分歧在哪里，分歧点往往就是这套系统真正模糊的地方。
测出来只有六十分，是不是不该上？看是哪六十分。如果要素抽取 95 分、合同审查 60 分，那就先上要素抽取，合同审查放一放。分任务判定，不要整体判定——这是自测最实用的一条原则。
多久要重测一次？半年一次。模型在迭代，你们的知识库也在变厚，两边的相对位置会移动。重测不用重新做二十份，用同一套样本跑一遍就行，一天能完成。
能不能直接跳过自测，听厂商的案例？可以听，但要问一句：那个案例测的是什么任务、样本多少份、谁打的分、漏检率多少。答不上来的，那个案例对你没有参考价值。
九、这套方法我们做成了标准流程
最开始它是给一个客户做项目时的内部验收表，后来跑了几轮发现，真正卡住律所的不是技术，是不知道该测什么、测完怎么判。所以我们把它整理成了一套可交付的自测方案：二十份样本怎么选、四个指标怎么算、判定会怎么开。
我们现在接到律所的咨询，通常先陪他们跑一轮自测，再谈买不买。测完不合适的，我们会直接说不合适——一套用不起来的东西放在所里，对双方都是负担。
时代科技在肇庆端州，2006 年成立。律所这条线做的是本地部署、卷宗知识库与场景模型调优。
电话 0758-2773716，手机 13827550139（微信同号），也可以在线留言。
想先了解整体方案，可以看私有化部署怎么做；不确定该选通用模型还是法律垂类工具，看律所AI工具怎么选；预算要先摸底的，看律所上一套本地AI要花多少钱。模型该选多大，见律所场景模型大小不同，优势体现在哪里。
