摘要
本文《Hallucination-Free?AssessingtheReliabilityofLeadingAILegalResearchTools》由斯坦福Reg Lab和HAI中心Varun Magesh等人撰写，深入探讨了在法律研究领域应用人工智能（AI）工具的可靠性问题。文章指出，尽管AI工具在法律职业中被广泛采用，旨在提高工作效率，但它们存在“幻觉”（hallucination）现象，即生成错误或误导性信息的风险。文章特别关注了检索增强生成（RAG）技术，该技术被一些法律研究提供商声称能够减少或消除幻觉问题。
文章通过实证评估发现，尽管RAG技术在减少幻觉方面相对普通聊天机器人有所改善，但LexisNexis的Lexis+ AI和Thomson Reuters的Westlaw AI-Assisted Research等AI研究工具在回答查询时，仍然存在17%至33%的幻觉率。此外，文章还记录了系统间在响应性和准确性方面的显著差异。
文章的主要贡献包括：
首次系统评估了基于RAG的专有法律AI工具的性能；
构建了一个综合的、实证测试的数据集，用于识别和理解这些系统的漏洞；
提出了一种明确的分类法，区分幻觉和准确的法律回应；
并为法律专业人士在监督和验证AI输出方面的责任提供了证据。
1. 引言（Introduction）
法律领域见证了人工智能产品的急剧增长，这些工具旨在协助完成从案例法的搜索和摘要到文件起草等一系列核心法律任务。然而，这些工具所使用的大型语言模型（LLMs）存在“幻觉”问题，即它们可能会编造虚假信息，这在高风险领域中使用时尤其危险。
文章提到了一名纽约律师因在法律简报中引用了ChatGPT虚构的案例而受到制裁的案例，以及随后记录的许多类似事件。这些案例凸显了幻觉现象不仅仅是理论上的担忧，而是实际存在的风险。
法律技术提供商，如LexisNexis和Thomson Reuters，声称他们采用了检索增强生成（RAG）等先进技术，可以显著减少或完全避免幻觉现象。这些声明通常缺乏实证支持，而且“幻觉”一词在营销材料中往往没有明确定义，导致用户对这些工具真正减轻的风险存在混淆。
图1：展示了不同生成法律研究工具在回答法律查询时产生幻觉和不完整回答的比例。幻觉回答被定义为包含虚假陈述或错误断言来源支持陈述的回答。不完整回答则是未能解决用户查询或为事实主张提供适当引用的回答。图表中，Lexis、Westlaw、Pract. Law和GPT-4的对比揭示了各系统在提供准确、完整回答方面的差异。
本研究的目的和方法
鉴于上述背景，本文设计并报告了首次前注册的实证评估，针对AI驱动的法律研究工具。研究目的是系统性地评估这些工具的性能，并检验提供商关于减少或消除幻觉的声明是否准确。
研究意义与贡献
文章强调了评估AI工具在法律领域应用的重要性，并指出了本研究的四个关键贡献：
首次系统评估了领先的AI工具在现实法律研究任务中的性能。
构建了一个综合的、预设的数据集，用于识别和理解这些系统的漏洞。
提出了一种明确的分类法，区分幻觉和准确的法律回应。
提供了证据，以指导法律专业人士在监督和验证AI输出方面的责任。
2. 背景
法律领域中AI工具的使用正在增加，这些工具被用于起草合同、分析证据以及进行法律研究等任务。这些工具的效率提升潜力巨大，但同时也带来了新的挑战和风险。
AI工具在法律领域的应用中，一个主要问题是它们可能会产生“幻觉”，即生成不准确或误导性的信息。这种现象在法律实践中尤为危险，因为法律决策通常基于精确的信息。
法律AI工具的采用引发了包括客户保密、数据保护、偏见引入以及律师对工作产品的监督责任等伦理问题。这些问题促使律师协会和法院介入，提供关于如何安全和合乎伦理地整合AI的指导。
为了有效利用AI工具并遵守职业指导原则，律师需要对这些工具的工作原理、可能的错误类型以及如何识别和减轻这些错误有深入的理解。
图2：提供了几个例子，展示了不同AI工具在回答法律查询时产生的幻觉。这些例子包括：
Westlaw的AI-Assisted Research产品错误地声称联邦破产程序规则中的一个段落表明，有关提出破产解除异议的截止日期是管辖权问题，而实际上这样的段落并不存在。
LexisNexis的Lexis+ AI错误地声称Planned Parenthood v. Casey案中的“不当负担”测试标准仍然有效，而实际上该标准已被Dobbs v. Jackson Women’s Health Organization案推翻。
Thomson Reuters的Ask Practical Law AI未能纠正用户的错误前提——实际上，Ginsburg大法官支持了法院关于同性婚姻合法化的里程碑决定，而系统却提供了关于此案的额外错误信息。
GPT-4生成了一个不存在的法定条款。
3. 检索增强生成（Retrieval-Augmented Generation, RAG）
3.1 RAG的优势
在多个领域中，检索增强生成（RAG）技术被看作是使大型语言模型（LLMs）在特定领域中有效的关键技术。它通过结合检索到的文档和原始查询，允许通用的LLMs利用公司或领域特定的数据，生成更详细和准确的答案。
RAG系统的工作流程：
检索（Retrieval）：检索是选择与查询相关的文档的过程。这类似于使用搜索引擎，通过关键词、用户信息和其他上下文，快速从数百万可用网页中识别出相关的页面。
生成（Generation）：一旦检索到相关文档，下一步就是将这些文档连同原始查询文本一起提供给LLM，以便其生成对用户查询的响应。
图3：展示了RAG系统的示意图。给定用户查询（左侧），通常的过程包括两个步骤：（1）检索（中间），其中查询通过自然语言处理嵌入，检索系统获取嵌入并检索相关文档（例如，最高法院案例）；（2）生成（右侧），检索到的文本被提供给语言模型以生成对用户查询的响应。任何辅助步骤都可能在生成的响应中引入错误和幻觉。
RAG的主要优势在于它允许模型在“开卷”设置中响应，而不是在“闭卷”设置中。这意味着LLM可以使用检索到的文档中的信息来支持其响应，而不是依赖于其在训练期间学到的内部知识。
RAG在法律领域的应用被认为可以显著减少法律幻觉问题。例如，Thomson Reuters的一位高管声称，在Westlaw AI-Assisted Research中，RAG“几乎将幻觉减少到接近零”。
3.2. RAG的局限性
尽管RAG在理论上具有潜力，但它并不是解决幻觉问题的万能良药。文章指出了几个原因，说明为什么RAG可能无法完全解决法律领域的幻觉问题：
检索的挑战性：
法律检索与一般领域相比具有独特性。法律问题通常不是基于明确无误的事实，而是需要在大量的案例法中寻找支持。法律意见书是由法官撰写的，这些意见书随着时间推移而建立，类似于一系列连载小说。因此，法律意见书不是原子事实，法律概念本身可能是“本质上有争议的”。这使得在法律领域中决定检索什么内容变得具有挑战性。RAG系统必须能够跨越时间和地点从多个来源中定位信息，以适当回答查询。
文档相关性的复杂性：
大多数检索系统基于文本相似性来识别相关文档。但在法律领域，仅仅文本上的相关性可能不足以确保文档的实际适用性。不同司法管辖区和不同时间段可能适用的规则或相关司法观点可能不同。即使是在正确的时间和地点，如果特殊条件未被满足，相似文本也可能不适用。此外，如果一个特殊条件下的规则与更广泛适用的规则相冲突，LLM可能更忠实于其训练数据而非检索上下文，这可能导致性能问题。
法律文本生成的复杂性：
法律文件通常是为了其他律师而写，依赖于大量的背景知识来正确理解和应用。一个有用的法律研究工具需要做的不仅仅是简单的文档摘要；它需要在考虑适当的法律背景的同时，综合不同的文本中的事实、裁决和规则。例如，Lexis+ AI在回答有关法官Luther A. Wilgarten的著名意见时，提供了一个实际存在但与法官无关的案例，这表明了检索和生成过程中的错误。
这些局限性表明，尽管RAG技术在减少幻觉方面相对普通聊天机器人有所改善，但幻觉问题在法律领域中仍然显著存在。这要求法律专业人士在使用这些工具时必须保持警惕，并对其输出进行仔细的监督和验证。
4. 法律幻觉的概念化（Conceptualizing Legal Hallucinations）
本文将法律幻觉的框架扩展到两个主要维度：正确性和基于证据性。正确性指的是工具回答的事实准确性（第4.1节）。基于证据性指的是模型回答与其引用来源之间的关系（第4.2节）。以这种方式分解事实幻觉使我们能够更细致地分析和理解法律AI工具在实践中失败的具体情况。例如，一个回答可能是正确的，但引用不当。这可能发生在检索结果较差或不相关时，但模型碰巧产生了正确的答案，并错误地断言一个不相关的来源支持其结论。这可能会以潜在危险的方式误导用户。
4.1 正确性（Correctness）
文章首先定义了AI工具回答的“正确性”，即回答是否在事实上是准确的，并且与查询相关。如果回答包含任何事实上不准确的信息，则被视为不正确。对于部分正确的回答，即包含正确信息但没有完全回答问题的回答，也被视为正确。
4.2 基于证据的（Groundedness）
对于正确的回答，文章进一步评估了回答的“基于证据的”性质。如果回答中的关键事实主张通过有效引用与相关法律文件相关联，则视为基于证据的。如果关键事实主张没有被引用或引用不当，则分别视为未基于证据的或错误引用的。
4.3 幻觉（Hallucination）
文章采用了幻觉的精确定义，即如果模型作出虚假陈述或错误地断言某个来源支持某个陈述，则该回答被视为幻觉。这为流行概念“幻觉”提供了技术清晰度，该术语目前在不同行业参与者中使用不一致。
4.4 准确性和不完整性（Accuracy and Incompleteness）
文章还定义了“准确回答”，即既正确又基于证据的回答，以及“不完全回答”，即拒绝回答或未基于证据的回答。正确但未基于证据的回答被编码为不完全，因为与错误引用的回答不同，未基于证据的回答实际上没有作出任何错误的断言。
5 方法论（Methodology）
5.1 AI-Driven Legal Research Tools
本研究评估了基于检索增强生成（RAG）技术的AI法律研究工具，包括LexisNexis的Lexis+ AI、Thomson Reuters的Ask Practical Law AI以及Westlaw的AI-Assisted Research。此外，还将GPT-4这一广泛使用的通用大型语言模型（LLM）作为参照进行了评估。
5.2 查询构建（Query Construction）
研究设计了一系列法律查询，覆盖了以下四个主要类别：
1.一般法律研究问题：涉及普通法原则、案例裁决要旨或律师资格考试问题。
2.司法管辖区或时间特定的问题：关于巡回法院分歧、案例被推翻或法律新发展的问题。
3.错误前提问题：基于对法律的误解或错误假设提出的问题。
4.事实回忆问题：关于案例事实信息的查询，如裁决年份或意见撰写者。
5.3 查询执行（Query Execution）
对于Lexis+ AI、Thomson Reuters的Ask Practical Law AI和Westlaw的AI-AR，研究者通过将每个查询复制并粘贴到各自产品的聊天窗口中执行。对于GPT-4，通过OpenAI API发出指令，模拟法律咨询场景。
5.4 评分一致性分析（Inter-Rater Reliability）
为确保评估的一致性和准确性，研究者对不同评分者对数据的评分的可靠性进行了评估，确保了查询定义和编码定义的精确性。
6 结果（Results）
6.1 幻觉现象普遍存在
研究揭示了即便是领先的基于RAG的AI法律研究工具，也无法完全避免产生幻觉现象。在对这些工具的评估中发现，Lexis+ AI和Ask Practical Law AI在超过六分之一的查询中提供了误导性或错误的信息。Westlaw的AI工具的幻觉率更是高达三分之一。
图4：展示了不同AI工具在回应查询时准确、不完整和幻觉回应的比例，并对比了当直接回应给出时的幻觉率。左侧图显示了准确、不完整和幻觉回答的总体百分比。右侧图显示了在给出直接回答时幻觉回答的百分比。Westlaw AI-AR和Ask Practical Law AI响应的查询比GPT-4少，但它们产生的回答并没有显著更高的可信度。垂直条表示95%的置信区间（95%置信区间意味着如果有100个独立的样本，那么其中95个样本的置信区间将包含参数的真实值）。
图5：按问题类别细分的回答评估。我们展示了每个问题类别的准确率（绿色）、不完整率（黄色）和幻觉率（红色）。垂直条表示95%的置信区间。这个图表显示幻觉问题并非由单一类别驱动，而是贯穿于各种任务类型和问题，例如律师资格考试和上诉诉讼问题。
6.2 幻觉的多样性和隐蔽性
AI系统在处理法律查询时，尽管可能在某些情况下提供帮助，但它们的答复常常存在显著缺陷。这些系统在基本法律理解方面仍然存在不足，如在描述案例裁决要旨、区分法律行为者、尊重法律权威层级时出现问题。
6.3 幻觉的具体案例分析与类型学
文章通过具体案例分析，展示了AI工具在提供法律答复时可能出现的错误类型：
简单检索：AI工具可能基于关键词匹配检索文档，而未能深入理解法律查询的专业性和复杂性，导致检索结果表面相关但实际不适用。
不恰当的法律依据：AI工具可能引用了与查询不相关的法律文件或案例，例如错误地将某个法律原则或案例应用于不同的法律问题，或引用了已经过时或被废除的法律条文。
此外，文章还提出了一个关于法律RAG系统中幻觉产生的类型学，包括但不限于以下几种情况：
1.检索错误：AI工具未能检索到最相关的法律文档，可能是因为检索算法过于简单，没有考虑到法律术语的精确性和案件的具体事实。
2.法律适用错误：AI工具可能错误地将检索到的法律文档应用于法律查询，尤其是在法律文档的适用性、时效性或相关性方面。
3.推理错误：AI工具在生成答复时，可能由于逻辑推理错误，导致提供了与检索到的文档不符或法律上不成立的答复。
4.用户错误前提的顺应：AI工具可能未能纠正用户查询中的错误前提，而是顺应了这些错误前提，生成了基于错误假设的答复。
7. 讨论（Discussion）
7.1 研究局限性的深入分析
本研究虽然提供了对AI法律研究工具的实证评估，但存在一定的局限性。首先，评估范围限定在特定的几款AI工具上，未能涵盖市场上所有的法律AI产品。其次，评估结果仅反映了工具在某一时间点的表现，未能捕捉到它们可能随时间发生的性能变化。此外，由于LLMs可能在训练中接触过用于评估的数据，存在测试泄露的风险，这可能影响了评估结果的客观性。
7.2 评估专有法律AI系统的挑战
评估专有法律AI系统面临诸多挑战，包括但不限于访问限制和性能变化问题。专有系统的封闭性使得独立评估变得困难，同时，AI工具的持续更新可能导致评估结果的时效性受限。
7.3 对法律实践的启示
研究结果对法律实践具有重要启示。法律专业人士在使用AI工具时，需要意识到这些工具可能存在的幻觉问题，并承担起监督和验证的责任。此外，专业发展和教育也需适应AI技术的发展，以确保律师能够有效地评估和使用这些工具。
7.4 对法律AI公司的影响
法律AI公司在产品开发和营销过程中，需要考虑其声明的准确性和产品责任。公司应避免夸大产品性能，确保其声明有充分的证据支持，并为可能出现的产品缺陷承担责任。
8. 法律实践的影响（Implications for Legal Practice）
8.1 法律职业的伦理和实践标准
AI工具的引入对法律职业的伦理和实践标准提出了新的要求。律师在使用AI工具时，必须遵守美国律师协会发布的《模范职业行为规则》，特别是关于能力（Rule 1.1）和监督（Rule 5.3）的规定。
8.2 法律AI工具的风险和责任
法律AI工具的风险意识和责任承担成为律师职业实践中的关键议题。律师需要认识到使用AI工具可能带来的风险，并采取措施确保其法律建议的准确性和可靠性。
8.3 法律教育和培训
随着AI工具在法律领域的应用日益增多，法律教育和职业培训需要包含有关AI工具的知识，以及如何评估和使用这些工具的内容。
8.4 对法律服务交付的影响
AI工具可能会改变法律服务的交付方式，提高服务效率和可访问性。然而，律师需要确保在使用AI工具的同时，不会降低法律服务的质量标准。
8.5 对法律AI公司的影响
法律AI公司需要提高产品透明度，与法律专业人士合作，开发满足实际需求的工具，并确保其产品遵守所有适用的法律法规。此外，公司还需承担起产品责任，确保AI工具的安全性和可靠性。
9 结论（Conclusion）
文章得出结论，尽管AI工具在法律研究领域具有巨大潜力，但目前市场上的AI法律研究工具仍未能完全消除幻觉现象。这意味着用户在使用这些工具时，必须持续进行关键性验证，确保所依赖的信息是准确无误的。
研究结果强调了法律专业人士在使用AI工具时需要谨慎，不能完全依赖工具的输出结果。法律专业人士应继续履行其监督和验证的责任，确保法律建议和决策建立在坚实的基础上。
文章呼吁法律AI公司提供更加透明和可靠的基准测试结果，避免对产品性能进行夸大或误导性的宣传。公司需要对其产品的准确性和可靠性负责，并为法律专业人士提供必要的信息，以便他们能够做出明智的使用决策。
尽管当前的AI工具存在局限性，但文章也指出，随着技术的进步和行业标准的建立，AI工具有望在未来为法律实践提供更大的价值。这包括提高研究效率、辅助案件分析和促进法律知识的普及。
文章建议未来的研究应该继续关注AI工具在法律领域的应用，特别是在提高工具的可靠性、减少幻觉现象以及评估工具在不同法律任务中的表现等方面。
本文《Hallucination-Free?AssessingtheReliabilityofLeadingAILegalResearchTools》由斯坦福Reg Lab和HAI中心Varun Magesh等人撰写，深入探讨了在法律研究领域应用人工智能（AI）工具的可靠性问题。文章指出，尽管AI工具在法律职业中被广泛采用，旨在提高工作效率，但它们存在“幻觉”（hallucination）现象，即生成错误或误导性信息的风险。文章特别关注了检索增强生成（RAG）技术，该技术被一些法律研究提供商声称能够减少或消除幻觉问题。
文章通过实证评估发现，尽管RAG技术在减少幻觉方面相对普通聊天机器人有所改善，但LexisNexis的Lexis+ AI和Thomson Reuters的Westlaw AI-Assisted Research等AI研究工具在回答查询时，仍然存在17%至33%的幻觉率。此外，文章还记录了系统间在响应性和准确性方面的显著差异。
文章的主要贡献包括：
首次系统评估了基于RAG的专有法律AI工具的性能；
构建了一个综合的、实证测试的数据集，用于识别和理解这些系统的漏洞；
提出了一种明确的分类法，区分幻觉和准确的法律回应；
并为法律专业人士在监督和验证AI输出方面的责任提供了证据。
1. 引言（Introduction）
法律领域见证了人工智能产品的急剧增长，这些工具旨在协助完成从案例法的搜索和摘要到文件起草等一系列核心法律任务。然而，这些工具所使用的大型语言模型（LLMs）存在“幻觉”问题，即它们可能会编造虚假信息，这在高风险领域中使用时尤其危险。
文章提到了一名纽约律师因在法律简报中引用了ChatGPT虚构的案例而受到制裁的案例，以及随后记录的许多类似事件。这些案例凸显了幻觉现象不仅仅是理论上的担忧，而是实际存在的风险。
法律技术提供商，如LexisNexis和Thomson Reuters，声称他们采用了检索增强生成（RAG）等先进技术，可以显著减少或完全避免幻觉现象。这些声明通常缺乏实证支持，而且“幻觉”一词在营销材料中往往没有明确定义，导致用户对这些工具真正减轻的风险存在混淆。
图1：展示了不同生成法律研究工具在回答法律查询时产生幻觉和不完整回答的比例。幻觉回答被定义为包含虚假陈述或错误断言来源支持陈述的回答。不完整回答则是未能解决用户查询或为事实主张提供适当引用的回答。图表中，Lexis、Westlaw、Pract. Law和GPT-4的对比揭示了各系统在提供准确、完整回答方面的差异。
本研究的目的和方法
鉴于上述背景，本文设计并报告了首次前注册的实证评估，针对AI驱动的法律研究工具。研究目的是系统性地评估这些工具的性能，并检验提供商关于减少或消除幻觉的声明是否准确。
研究意义与贡献
文章强调了评估AI工具在法律领域应用的重要性，并指出了本研究的四个关键贡献：
首次系统评估了领先的AI工具在现实法律研究任务中的性能。
构建了一个综合的、预设的数据集，用于识别和理解这些系统的漏洞。
提出了一种明确的分类法，区分幻觉和准确的法律回应。
提供了证据，以指导法律专业人士在监督和验证AI输出方面的责任。
2. 背景
法律领域中AI工具的使用正在增加，这些工具被用于起草合同、分析证据以及进行法律研究等任务。这些工具的效率提升潜力巨大，但同时也带来了新的挑战和风险。
AI工具在法律领域的应用中，一个主要问题是它们可能会产生“幻觉”，即生成不准确或误导性的信息。这种现象在法律实践中尤为危险，因为法律决策通常基于精确的信息。
法律AI工具的采用引发了包括客户保密、数据保护、偏见引入以及律师对工作产品的监督责任等伦理问题。这些问题促使律师协会和法院介入，提供关于如何安全和合乎伦理地整合AI的指导。
为了有效利用AI工具并遵守职业指导原则，律师需要对这些工具的工作原理、可能的错误类型以及如何识别和减轻这些错误有深入的理解。
图2：提供了几个例子，展示了不同AI工具在回答法律查询时产生的幻觉。这些例子包括：
Westlaw的AI-Assisted Research产品错误地声称联邦破产程序规则中的一个段落表明，有关提出破产解除异议的截止日期是管辖权问题，而实际上这样的段落并不存在。
LexisNexis的Lexis+ AI错误地声称Planned Parenthood v. Casey案中的“不当负担”测试标准仍然有效，而实际上该标准已被Dobbs v. Jackson Women’s Health Organization案推翻。
Thomson Reuters的Ask Practical Law AI未能纠正用户的错误前提——实际上，Ginsburg大法官支持了法院关于同性婚姻合法化的里程碑决定，而系统却提供了关于此案的额外错误信息。
GPT-4生成了一个不存在的法定条款。
3. 检索增强生成（Retrieval-Augmented Generation, RAG）
3.1 RAG的优势
在多个领域中，检索增强生成（RAG）技术被看作是使大型语言模型（LLMs）在特定领域中有效的关键技术。它通过结合检索到的文档和原始查询，允许通用的LLMs利用公司或领域特定的数据，生成更详细和准确的答案。
RAG系统的工作流程：
检索（Retrieval）：检索是选择与查询相关的文档的过程。这类似于使用搜索引擎，通过关键词、用户信息和其他上下文，快速从数百万可用网页中识别出相关的页面。
生成（Generation）：一旦检索到相关文档，下一步就是将这些文档连同原始查询文本一起提供给LLM，以便其生成对用户查询的响应。
图3：展示了RAG系统的示意图。给定用户查询（左侧），通常的过程包括两个步骤：（1）检索（中间），其中查询通过自然语言处理嵌入，检索系统获取嵌入并检索相关文档（例如，最高法院案例）；（2）生成（右侧），检索到的文本被提供给语言模型以生成对用户查询的响应。任何辅助步骤都可能在生成的响应中引入错误和幻觉。
RAG的主要优势在于它允许模型在“开卷”设置中响应，而不是在“闭卷”设置中。这意味着LLM可以使用检索到的文档中的信息来支持其响应，而不是依赖于其在训练期间学到的内部知识。
RAG在法律领域的应用被认为可以显著减少法律幻觉问题。例如，Thomson Reuters的一位高管声称，在Westlaw AI-Assisted Research中，RAG“几乎将幻觉减少到接近零”。
3.2. RAG的局限性
尽管RAG在理论上具有潜力，但它并不是解决幻觉问题的万能良药。文章指出了几个原因，说明为什么RAG可能无法完全解决法律领域的幻觉问题：
检索的挑战性：
法律检索与一般领域相比具有独特性。法律问题通常不是基于明确无误的事实，而是需要在大量的案例法中寻找支持。法律意见书是由法官撰写的，这些意见书随着时间推移而建立，类似于一系列连载小说。因此，法律意见书不是原子事实，法律概念本身可能是“本质上有争议的”。这使得在法律领域中决定检索什么内容变得具有挑战性。RAG系统必须能够跨越时间和地点从多个来源中定位信息，以适当回答查询。
文档相关性的复杂性：
大多数检索系统基于文本相似性来识别相关文档。但在法律领域，仅仅文本上的相关性可能不足以确保文档的实际适用性。不同司法管辖区和不同时间段可能适用的规则或相关司法观点可能不同。即使是在正确的时间和地点，如果特殊条件未被满足，相似文本也可能不适用。此外，如果一个特殊条件下的规则与更广泛适用的规则相冲突，LLM可能更忠实于其训练数据而非检索上下文，这可能导致性能问题。
法律文本生成的复杂性：
法律文件通常是为了其他律师而写，依赖于大量的背景知识来正确理解和应用。一个有用的法律研究工具需要做的不仅仅是简单的文档摘要；它需要在考虑适当的法律背景的同时，综合不同的文本中的事实、裁决和规则。例如，Lexis+ AI在回答有关法官Luther A. Wilgarten的著名意见时，提供了一个实际存在但与法官无关的案例，这表明了检索和生成过程中的错误。
这些局限性表明，尽管RAG技术在减少幻觉方面相对普通聊天机器人有所改善，但幻觉问题在法律领域中仍然显著存在。这要求法律专业人士在使用这些工具时必须保持警惕，并对其输出进行仔细的监督和验证。
4. 法律幻觉的概念化（Conceptualizing Legal Hallucinations）
本文将法律幻觉的框架扩展到两个主要维度：正确性和基于证据性。正确性指的是工具回答的事实准确性（第4.1节）。基于证据性指的是模型回答与其引用来源之间的关系（第4.2节）。以这种方式分解事实幻觉使我们能够更细致地分析和理解法律AI工具在实践中失败的具体情况。例如，一个回答可能是正确的，但引用不当。这可能发生在检索结果较差或不相关时，但模型碰巧产生了正确的答案，并错误地断言一个不相关的来源支持其结论。这可能会以潜在危险的方式误导用户。
4.1 正确性（Correctness）
文章首先定义了AI工具回答的“正确性”，即回答是否在事实上是准确的，并且与查询相关。如果回答包含任何事实上不准确的信息，则被视为不正确。对于部分正确的回答，即包含正确信息但没有完全回答问题的回答，也被视为正确。
4.2 基于证据的（Groundedness）
对于正确的回答，文章进一步评估了回答的“基于证据的”性质。如果回答中的关键事实主张通过有效引用与相关法律文件相关联，则视为基于证据的。如果关键事实主张没有被引用或引用不当，则分别视为未基于证据的或错误引用的。
4.3 幻觉（Hallucination）
文章采用了幻觉的精确定义，即如果模型作出虚假陈述或错误地断言某个来源支持某个陈述，则该回答被视为幻觉。这为流行概念“幻觉”提供了技术清晰度，该术语目前在不同行业参与者中使用不一致。
4.4 准确性和不完整性（Accuracy and Incompleteness）
文章还定义了“准确回答”，即既正确又基于证据的回答，以及“不完全回答”，即拒绝回答或未基于证据的回答。正确但未基于证据的回答被编码为不完全，因为与错误引用的回答不同，未基于证据的回答实际上没有作出任何错误的断言。
5 方法论（Methodology）
5.1 AI-Driven Legal Research Tools
本研究评估了基于检索增强生成（RAG）技术的AI法律研究工具，包括LexisNexis的Lexis+ AI、Thomson Reuters的Ask Practical Law AI以及Westlaw的AI-Assisted Research。此外，还将GPT-4这一广泛使用的通用大型语言模型（LLM）作为参照进行了评估。
5.2 查询构建（Query Construction）
研究设计了一系列法律查询，覆盖了以下四个主要类别：
1.一般法律研究问题：涉及普通法原则、案例裁决要旨或律师资格考试问题。
2.司法管辖区或时间特定的问题：关于巡回法院分歧、案例被推翻或法律新发展的问题。
3.错误前提问题：基于对法律的误解或错误假设提出的问题。
4.事实回忆问题：关于案例事实信息的查询，如裁决年份或意见撰写者。
5.3 查询执行（Query Execution）
对于Lexis+ AI、Thomson Reuters的Ask Practical Law AI和Westlaw的AI-AR，研究者通过将每个查询复制并粘贴到各自产品的聊天窗口中执行。对于GPT-4，通过OpenAI API发出指令，模拟法律咨询场景。
5.4 评分一致性分析（Inter-Rater Reliability）
为确保评估的一致性和准确性，研究者对不同评分者对数据的评分的可靠性进行了评估，确保了查询定义和编码定义的精确性。
6 结果（Results）
6.1 幻觉现象普遍存在
研究揭示了即便是领先的基于RAG的AI法律研究工具，也无法完全避免产生幻觉现象。在对这些工具的评估中发现，Lexis+ AI和Ask Practical Law AI在超过六分之一的查询中提供了误导性或错误的信息。Westlaw的AI工具的幻觉率更是高达三分之一。
图4：展示了不同AI工具在回应查询时准确、不完整和幻觉回应的比例，并对比了当直接回应给出时的幻觉率。左侧图显示了准确、不完整和幻觉回答的总体百分比。右侧图显示了在给出直接回答时幻觉回答的百分比。Westlaw AI-AR和Ask Practical Law AI响应的查询比GPT-4少，但它们产生的回答并没有显著更高的可信度。垂直条表示95%的置信区间（95%置信区间意味着如果有100个独立的样本，那么其中95个样本的置信区间将包含参数的真实值）。
图5：按问题类别细分的回答评估。我们展示了每个问题类别的准确率（绿色）、不完整率（黄色）和幻觉率（红色）。垂直条表示95%的置信区间。这个图表显示幻觉问题并非由单一类别驱动，而是贯穿于各种任务类型和问题，例如律师资格考试和上诉诉讼问题。
6.2 幻觉的多样性和隐蔽性
AI系统在处理法律查询时，尽管可能在某些情况下提供帮助，但它们的答复常常存在显著缺陷。这些系统在基本法律理解方面仍然存在不足，如在描述案例裁决要旨、区分法律行为者、尊重法律权威层级时出现问题。
6.3 幻觉的具体案例分析与类型学
文章通过具体案例分析，展示了AI工具在提供法律答复时可能出现的错误类型：
简单检索：AI工具可能基于关键词匹配检索文档，而未能深入理解法律查询的专业性和复杂性，导致检索结果表面相关但实际不适用。
不恰当的法律依据：AI工具可能引用了与查询不相关的法律文件或案例，例如错误地将某个法律原则或案例应用于不同的法律问题，或引用了已经过时或被废除的法律条文。
此外，文章还提出了一个关于法律RAG系统中幻觉产生的类型学，包括但不限于以下几种情况：
1.检索错误：AI工具未能检索到最相关的法律文档，可能是因为检索算法过于简单，没有考虑到法律术语的精确性和案件的具体事实。
2.法律适用错误：AI工具可能错误地将检索到的法律文档应用于法律查询，尤其是在法律文档的适用性、时效性或相关性方面。
3.推理错误：AI工具在生成答复时，可能由于逻辑推理错误，导致提供了与检索到的文档不符或法律上不成立的答复。
4.用户错误前提的顺应：AI工具可能未能纠正用户查询中的错误前提，而是顺应了这些错误前提，生成了基于错误假设的答复。
7. 讨论（Discussion）
7.1 研究局限性的深入分析
本研究虽然提供了对AI法律研究工具的实证评估，但存在一定的局限性。首先，评估范围限定在特定的几款AI工具上，未能涵盖市场上所有的法律AI产品。其次，评估结果仅反映了工具在某一时间点的表现，未能捕捉到它们可能随时间发生的性能变化。此外，由于LLMs可能在训练中接触过用于评估的数据，存在测试泄露的风险，这可能影响了评估结果的客观性。
7.2 评估专有法律AI系统的挑战
评估专有法律AI系统面临诸多挑战，包括但不限于访问限制和性能变化问题。专有系统的封闭性使得独立评估变得困难，同时，AI工具的持续更新可能导致评估结果的时效性受限。
7.3 对法律实践的启示
研究结果对法律实践具有重要启示。法律专业人士在使用AI工具时，需要意识到这些工具可能存在的幻觉问题，并承担起监督和验证的责任。此外，专业发展和教育也需适应AI技术的发展，以确保律师能够有效地评估和使用这些工具。
7.4 对法律AI公司的影响
法律AI公司在产品开发和营销过程中，需要考虑其声明的准确性和产品责任。公司应避免夸大产品性能，确保其声明有充分的证据支持，并为可能出现的产品缺陷承担责任。
8. 法律实践的影响（Implications for Legal Practice）
8.1 法律职业的伦理和实践标准
AI工具的引入对法律职业的伦理和实践标准提出了新的要求。律师在使用AI工具时，必须遵守美国律师协会发布的《模范职业行为规则》，特别是关于能力（Rule 1.1）和监督（Rule 5.3）的规定。
8.2 法律AI工具的风险和责任
法律AI工具的风险意识和责任承担成为律师职业实践中的关键议题。律师需要认识到使用AI工具可能带来的风险，并采取措施确保其法律建议的准确性和可靠性。
8.3 法律教育和培训
随着AI工具在法律领域的应用日益增多，法律教育和职业培训需要包含有关AI工具的知识，以及如何评估和使用这些工具的内容。
8.4 对法律服务交付的影响
AI工具可能会改变法律服务的交付方式，提高服务效率和可访问性。然而，律师需要确保在使用AI工具的同时，不会降低法律服务的质量标准。
8.5 对法律AI公司的影响
法律AI公司需要提高产品透明度，与法律专业人士合作，开发满足实际需求的工具，并确保其产品遵守所有适用的法律法规。此外，公司还需承担起产品责任，确保AI工具的安全性和可靠性。
9 结论（Conclusion）
文章得出结论，尽管AI工具在法律研究领域具有巨大潜力，但目前市场上的AI法律研究工具仍未能完全消除幻觉现象。这意味着用户在使用这些工具时，必须持续进行关键性验证，确保所依赖的信息是准确无误的。
研究结果强调了法律专业人士在使用AI工具时需要谨慎，不能完全依赖工具的输出结果。法律专业人士应继续履行其监督和验证的责任，确保法律建议和决策建立在坚实的基础上。
文章呼吁法律AI公司提供更加透明和可靠的基准测试结果，避免对产品性能进行夸大或误导性的宣传。公司需要对其产品的准确性和可靠性负责，并为法律专业人士提供必要的信息，以便他们能够做出明智的使用决策。
尽管当前的AI工具存在局限性，但文章也指出，随着技术的进步和行业标准的建立，AI工具有望在未来为法律实践提供更大的价值。这包括提高研究效率、辅助案件分析和促进法律知识的普及。
文章建议未来的研究应该继续关注AI工具在法律领域的应用，特别是在提高工具的可靠性、减少幻觉现象以及评估工具在不同法律任务中的表现等方面。