LLMCad：高效执行生成式自然语言处理（NLP）任务

LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息。

1. 这篇论文介绍了一种新的自改进语言模型方法。大型语言模型（LLM）在多个领域的知识已经超越了人类。传统上，这些模型的改进依赖于昂贵的人类数据，但最近的自奖励机制（Yuan等人，2024年）表明，LLM可以通过判断自己的回应来自我改进，而不需要依赖人类标签员。然而，现有方法主要关注改进模型回应，而不是判断能力，导致在迭代训练过程中迅速饱和。为了解决这一问题，论文引入了一个新的元奖励步骤到自我改进过程中，模型评判自己的评判，并使用该反馈来完善自己的判断技能。令人惊讶的是，这种无监督的方法提高了模型遵循指令和判断的能力，例如Llama-3-8B-Instruct从22.9%的Arena-Hard提升到41.6%。这些结果强烈表明，无需人类监督，自我改进模型具有巨大潜力

链接：Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge - AMiner

2. 本文从计算机科学家的视角出发，对具有生成能力的生成式人工智能大型语言模型（如ChatGPT）的AI安全研究最新趋势进行了概述。文章讨论了生成式语言模型作为LLMs存在的安全风险和危害的背景和动机，并突出了为LLMs的研究、开发和应用制定统一安全挑战理论的必要性。文章首先简短介绍了LLMs的工作原理，并回顾了早期研究关于生成模型基本限制或对限制理解不足的问题。接着，文章详细讨论了LLM对齐的各种方法、竞争性技术和当前面临的挑战，以及如何使LLMs与人类偏好保持一致。通过对文献中的空白和可能的实施疏漏进行强调，本文旨在创建一个全面的分析，为解决LLMs的AI安全问题提供见解，并鼓励开发与人类偏好一致且安全的模型。最后，本文讨论了LLMs在AI安全方面的未来研究方向，提供了这一关键领域正在进行研究的见解。

链接：AI Safety in Generative AI Large Language Models: A Survey - AMiner

3. 这篇论文介绍了一种名为LLMCad的创新性设备端推理引擎，旨在高效执行生成式自然语言处理（NLP）任务。由于生成式任务（如文本生成和问答）在移动应用领域中占据重要地位，并且由于其对隐私问题的敏感性，越来越多的需求要求它们在移动设备上直接执行。目前，这些生成式任务的执行严重依赖于大型语言模型（LLMs）。然而，设备的内存容量有限，这给这些模型的可扩展性带来了巨大挑战。LLMCad的核心思想是模型协作：一个紧凑的LLM负责生成最直接的标记，而一个高精度的LLM则介入验证这些标记并纠正任何确定的错误。LLMCad包含了三种新颖技术：（1）LLMCad不是按顺序生成候选标记，而是利用较小的LLM构建一个包含更广泛可能标记路径的标记树，随后较大的LLM可以同时验证所有这些路径。（2）它采用自适应回退策略，在较小的LLM生成错误标记时迅速启动验证过程。（3）为确保标记生成的连续性，LLMCad在验证过程中通过实现计算-IO管道推测生成标记。通过一系列实验，LLMCad展示了令人印象深刻的标记生成速度，比现有推理引擎快9.3倍。

链接：LLMCad: Fast and Scalable On-device Large Language Model Inference - AMiner

4.这篇论文介绍了一种使用大型语言模型 (LLM) 构建协作实体代理的新框架，该框架可以在各种领域的单个代理实体任务中表现出出色的计划能力和沟通能力。然而，在多代理合作中，其规划和沟通能力仍不确定，这些技能对于智能实体代理是至关重要的。在本文中，我们提出了一种用于多代理合作的新框架，该框架利用大型语言模型 (LLM) 进行计划、沟通和合作，并在各种实体环境中进行了测试。我们的框架使实体代理能够计划、交流和合作，以高效地完成长期任务。我们还证明，使用我们框架的最新大型语言模型 (如 GPT-4) 可以超越强大的计划方法，并表现出自发的有效沟通，而不需要微调或很少的提示。我们还发现，使用自然语言交流的大型语言模型 (LLM) 可以赢得更多的信任，并更有效地进行合作。我们的研究强调了 LLM 在实体 AI 中的潜力，并为多代理合作的未来研究奠定了基础。视频可以在项目网站上找到https://vis-www.cs.umass.edu/Co-LLM-Agents/。

链接：Building Cooperative Embodied Agents Modularly with Large Language Models - AMiner

5. 这篇论文探讨了利用大型语言模型来实现移动用户界面的对话式交互的可能性。传统的对话式代理可以通过自然语言与用户进行交互，但要完成多样化的界面任务，开发者通常需要为每个特定任务创建不同的数据集和模型，这样做既费时又费力。最近，预训练的大型语言模型（LLM）显示出能够通过少量来自目标任务的示例来进行泛化，应用于各种下游任务。本文研究了使用单个LLM来启用移动用户界面的多用途对话式交互的可行性。我们设计了适应移动用户界面的LLM的提示技术，并实验了四个重要的建模任务，这些任务涵盖了对话式交互的各种场景。我们的方法在这些问题上取得了有竞争力的性能，而无需专门的数据集和训练，提供了一种轻量级且可泛化的方法，以实现基于语言的移动交互。

链接：Enabling Conversational Interaction with Mobile UI using Large Language Models - AMiner