RAG与LC：长上下文任务中的表现与优化策略

它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息。

1.本文对比了检索增强生成（RAG）和长上下文（LC）语言模型在处理长上下文任务中的表现，旨在结合两者的优点。通过在三个最新的LLM模型上使用各种公开数据集对RAG和LC进行基准测试，结果表明，当资源充足时，LC在平均性能上始终优于RAG。然而，RAG的计算成本显著较低，仍具有优势。基于这一观察，作者提出了Self-Route方法，这是一种简单而有效的方法，根据模型的自我反思将查询路由到RAG或LC。Self-Route方法显著降低了计算成本，同时保持了与LC相当的性能。研究结果为使用RAG和LC的LLM长上下文应用提供了指导。

链接：Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach - AMiner

2. 本文全面调查了近期用于改进大型语言模型（LLM）与其生成回应之间人类期望对齐的技术，如RLHF、RLAIF、PPO、DPO等。随着自监督学习的进步、大规模预训练语料库中数十万亿个标记的可用性、指令微调和参数达数十亿的大型Transformer模型的开发，大型语言模型已能对人类查询生成事实性和连贯的回应。但训练数据的质量参差不齐可能会导致生成不期望的回应，带来了显著挑战。尽管过去两年从不同角度提出了多种改进LLM的方法，尤其是改进它们与人类期望之间的对齐，但尚未有综述文章对这些方法进行分类和详细说明。本研究旨在填补这一空白，将相关论文按不同主题进行分类，并详细解释每种对齐方法，帮助读者深入了解该领域的当前状态。

链接：A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More - AMiner

3. 大型语言模型（LLM）尽管在近期大量涌现，但它们的训练方法—模型架构、预训练数据和优化算法—往往非常相似。这自然引出了一个关于 resulting models 之间相似性的问题。在这篇论文中，我们提出了一个新奇的设定，想象中的问题回答（IQA），以更好地理解模型之间的相似性。在IQA中，我们要求一个模型生成纯粹虚构的问题（例如，关于物理学中完全虚构的概念），并提示另一个模型回答。令人惊讶的是，尽管这些问题完全是虚构的，但所有模型都能以极大的成功回答彼此的问题，这表明了一个“共享想象空间”，在这些模型进行这种幻觉操作期间，它们在其中运作。我们对这一现象进行了一系列的调查，并讨论了关于模型同质性、幻觉和计算创造力等方面的影响。

链接：Shared Imagination: LLMs Hallucinate Alike - AMiner

4.本文介绍了ChatQA 2，一个基于Llama3的模型，旨在缩小开源大型语言模型（LLMs）与顶尖私有模型（如GPT-4-Turbo）在长上下文理解和检索增强生成（RAG）能力方面的差距。这两种能力对于LLMs处理无法一次性嵌入单条提示的大量信息至关重要，并且根据下游任务和计算预算的不同，它们相互补充。文中详细介绍了如何将Llama3-70B-base的上下文窗口从8K扩展到128K令牌的持续训练方法，以及通过三阶段指令调优过程来提高模型的指令遵循能力、RAG性能和长上下文理解能力。实验结果表明，Llama3-ChatQA-2-70B模型在许多长上下文理解任务上的准确性可与GPT-4-Turbo-2024-0409相媲美，并且在RAG基准测试中超过了它。有趣的是，我们发现最先进的长上下文检索器可以缓解RAG中的top-k上下文碎片化问题，从而进一步提高长上下文理解任务的RAG基础结果。文中还提供了使用最先进的长上下文LLMs对RAG和长上下文解决方案进行广泛比较的结果。

链接：ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities - AMiner

5.这篇论文介绍了一种新的自然语言处理领域的研究课题——基于检索增强生成的问答（RAG-QA），并指出现有的用于此任务的数据集存在一些局限性。为了克服这些局限性，研究者创建了长格式鲁棒问答（LFRQA）数据集，该数据集包括由人类编写的长格式答案，这些答案将来自多个文档的短提取式答案集成到单个连贯的故事中，涵盖了七个不同领域的26K个查询和大量语料库。此外，研究者还提出了RAG-QA竞技场，通过将模型生成的答案直接与LFRQA的答案进行比较，使用大型语言模型（LLM）作为评估者。实验结果表明，RAG-QA竞技场和人类对答案质量的判断高度相关。此外，只有41.3%的LLM生成的答案被认为优于LFRQA的答案，这表明RAG-QA竞技场是一个对未来研究具有挑战性的评估平台。

链接：RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering - AMiner