AI系统安全性和可观测性：高风险领域的关键考量

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

今日精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息.

1.A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks

本文概要性地探讨了大语言模型（LLM）在各种自然语言处理（NLP）任务中的提示工程方法。提示工程通过编写自然语言指令，即提示，以结构化的方式引出LLM的知识，对于取得显著的性能提升至关重要。与以前的最先进（SoTA）模型不同，提示工程不需要根据给定的NLP任务进行广泛的参数重新训练或微调，而是仅在LLM的嵌入知识上操作。此外，LLM爱好者可以通过基本的自然语言对话交换或提示工程智能地提取LLM的知识，这使得越来越多的人即使没有深厚的数学机器学习背景也能够尝试使用LLM。在过去的两年里，随着提示工程的普及，研究人员提出了许多围绕设计提示的工程技巧，以提高从LLM中提取信息的准确性。本文总结了不同的提示技巧，并将它们根据它们所使用的NLP任务进行分组。我们进一步细化地突出了这些提示策略在属于该NLP任务的各个数据集上的性能，讨论了相应的LLM使用情况，呈现了一个分类图，并讨论了可能的SoTA针对特定的数据集。总共，我们阅读并呈现了关于29个不同NLP任务上的39种不同提示方法的44篇研究论文的调查，其中大多数是在过去两年内发表的。

链接：A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks - AMiner

2.Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey)

随着人工智能（AI）系统在高风险领域的快速应用，确保这些系统的可信度、安全性和可观测性变得至关重要。评估和监控AI系统不仅需要关注准确性和质量相关指标，还要关注鲁棒性、偏见、安全性、可解释性以及其他负责任AI的维度。本文关注大型语言模型（LLM）和其他生成型AI模型，这些模型带来了诸如虚构内容、有害和操纵性内容以及版权侵犯等额外挑战。作为我们KDD 2024教程的配套文章，本文强调了生成型AI系统相关的各种危害，并综述了解决这些问题的最先进方法（以及存在的开放挑战）。

链接：Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey) - AMiner

3.E5-V: Universal Embeddings with Multimodal Large Language Models

这篇论文介绍了一种新的框架E5-V，旨在利用多模态大型语言模型（MLLMs）实现通用多模态嵌入。研究结果显示，与之前的做法相比，MLLMs在表示多模态输入方面具有巨大的潜力。通过使用提示和MLLMs，E5-V有效地弥合了不同类型输入之间的模态差距，即使没有微调，也在多模态嵌入方面表现出强大的性能。论文提出了一种单一模态训练方法，即专门对文本对进行训练。这种方法在图像文本对的传统多模态训练上显示出显著的改进，同时通过大约95%的训练成本降低，减少了昂贵的多模态训练数据收集的需要。在四个不同类型的任务上进行的大量实验证明了E5-V的有效性。作为一个通用多模态模型，E5-V不仅在单个模态上训练，而且在每个任务上都超越了现有技术的最高性能。

链接：E5-V: Universal Embeddings with Multimodal Large Language Models - AMiner

4.Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

本研究针对大型语言模型（LLM）在安全调优实践中存在的一个重要问题，即在安全调优数据中存在拒绝姿态偏见，这削弱了模型适当地拒绝生成不安全内容的能力。提出了一个新颖的方法——解耦拒绝训练（DeRTa），旨在赋予LLM在任何响应位置拒绝遵守有害提示的能力，从而显著提高其安全性能。DeRTa包括两个新颖组件：（1）最大似然估计（MLE）带有害响应前缀，通过在安全响应前添加一段有害响应来训练模型识别并避免不安全内容；（2）强化转移优化（RTO），使模型具备从潜在危害到安全拒绝的能力，在整个有害响应序列中保持一致。我们在六个攻击场景下使用LLaMA3和Mistral模型家族进行的实证评估表明，我们的方法不仅提高了模型安全性，而且在不牺牲性能的情况下，超过了GPT-4等知名模型在防御攻击方面的表现。

链接：Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training - AMiner

5.SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

本文介绍了SpreadsheetLLM项目，旨在解决大型语言模型在处理表格数据时的挑战。传统的表格数据序列化方法因为受到语言模型token长度的限制，实用性有限。为了解决这个问题，研究者开发了SheetCompressor编码框架，该框架包括结构锚定压缩、逆索引转换和数据格式感知聚合三个模块，有效提高了表格数据处理的性能。经过细致的实验验证，配合SheetCompressor优化的语言模型在表格数据压缩比和理解任务上表现出色，大幅超越了现有模型。这表明，SpreadsheetLLM在各种表格任务上都非常有效。

链接：SpreadsheetLLM: Encoding Spreadsheets for Large Language Models - AMiner