AI red teamer （人工智能红队）系列21 – 人工智能基础 – 大语言模型

大语言模型（LLMs）是一种人工智能（AI），近年来因其理解和生成类人文本的能力而备受关注。这些模型在海量文本数据的基础上进行训练，使它们能够学习语言中的模式和关系。这些知识使它们能够执行各种任务，包括翻译、总结、问题解答和创意写作。

大语言模型（LLMs）通常基于一种名为Transformer的深度学习架构。Transformer特别适合处理文本等序列数据，因为它们能够捕获词汇之间的长距离依赖关系。这是通过自注意力机制实现的，该机制允许模型在处理句子时权衡句子中不同词汇的重要性。

LLMs 的训练过程包括向其输入大量文本数据并调整模型参数，以最大限度地减少其预测结果与实际文本之间的差异。这一过程的计算成本很高，需要专门的硬件，比如上万块 GPU 或 TPU。

LLMs 通常具有三个特点：

• 大规模： LLM 的特点是规模巨大，通常包含数十亿甚至数万亿个参数。这种规模使它们能够捕捉人类语言的细微差别。
• 少量学习： LLM 只需几个示例就能完成新任务，这与需要大量标记数据集的传统机器学习模型不同。
• 上下文理解：LLM 可以理解对话或文本的上下文，从而生成更相关、更连贯的回复。

LLMs 如何工作

大语言模型是人工智能领域的一次重大飞跃，在理解和生成人类语言方面展示了极其强大的能力。要真正掌握它们的力量和潜力，探索驱动其功能的复杂技术非常重要。

基本概念说明

• Transformer 架构：并行处理整个句子的神经网络设计，与传统的 RNNs 相比，速度更快，效率更高。
• 分词 （Tokenization）：将文本转换为称为 tokens 的较小单位的过程，这些单位可以是单词、子词或字符。
• 编码器和解码器：转换器的组成部分，其中编码器处理输入文本以捕捉其含义，解码器根据编码器的输出生成输出文本。
• 自注意力机制 （Self-Attention Mechanism）：计算词与词之间注意力分数的机制，使模型能够理解文本中的长距离依赖关系。
• 训练：LLMs 使用海量文本数据和无监督学习进行训练，通过使用梯度下降来调整参数，以最小化预测误差。

Transformer 架构

大多数 LLMs 的核心是 Transformer 架构，这是一种彻底改变自然语言处理的神经网络设计。与按顺序处理文本的传统递归神经网络（RNNs）不同，Transformer可以并行处理整个句子，从而大大提高了速度和效率。

Transformer 的关键创新在于 自注意机制 。自注意机制 允许模型在处理句子时权衡句子中不同单词的重要性。想象一下，你正在阅读类似"The cat sat on the mat." 这样的句子。自注意机制 可以让模型理解 "cat" "和 "sat"是密切相关的，而 "mat"对于 "sat "的含义则不那么重要。

分词：分解文本

在 LLMs 处理文本之前，需要将文本转换为模型可以理解的格式。这需要通过 分词来完成，在标记化过程中，文本被分解成更小的单元，称为 token 。 token 可以是单词、子词，甚至是字符，具体取决于特定的模型。

例如，"I love artificial intelligence"这句话可以分词为

["I", "love", "artificial", "intelligence"]

嵌入向量：将单词表示为向量

文本完成分词后，每个token会被转换为称为嵌入向量的数值表示。嵌入向量捕获词汇的语义含义，将其表示为高维空间中的点。具有相似含义的词汇在该空间中会拥有更加接近的嵌入向量。

例如，"国王 "和 "王后 "的嵌入向量比 "国王 "和 "桌子 "的嵌入向量更接近。

编码器和解码器处理和生成文本

Transformer由两个主要组件构成：编码器和解码器。编码器处理输入文本，捕获其含义以及词汇间的关系。解码器利用这些信息生成输出文本，例如翻译或摘要。

在 LLMs 中，编码器和解码器共同理解和生成类人文本。编码器处理输入文本，解码器根据编码器的输出生成文本。

自注意力机制

自注意力机制是使Transformer模型能够捕获文本中长距离依赖关系的关键机制。它通过计算句子中每对词之间的注意力分数来工作。这些分数表示每个词应该在多大程度上"关注"其他词。

例如，在句子 "The cat sat on the mat, which was blue"（猫坐在蓝色的垫子上）中，尽管 "which "和 "mat "相差几个单词，但自注意力机制可以让模型理解 "which "指的是 "mat"。

训练 LLMs

LLMs 通常使用 无监督学习，在海量文本数据上进行训练。这意味着模型在没有明确标签或指令的情况下学习数据中的模式和关系。

训练包括向模型输入文本数据并调整其参数，以尽量减小其预测结果与实际文本之间的差异。这通常使用 梯度下降的变体来完成，这是一种优化算法，通过反复调整模型参数来最小化损失函数。

示例

假设我们想用 LLMs 生成一个关于猫的故事。我们会给模型提供一个提示，比如 "Once upon a time, there was a cat named Whiskers" (从前，有一只名叫Whiskers的猫)。然后，LLMs 将利用其语言和讲故事的知识，逐字生成故事的其余部分。

模型将考虑提示的上下文及其语法、句法和语义知识，生成连贯、引人注目的文本。它可能会生成以下内容

Once upon a time, there was a cat named Whiskers. Whiskers was a curious and adventurous cat, always exploring the world around him. One day, he ventured into the forest and stumbled upon a hidden village of mice...

这只是一个简化的例子，但它说明了LLMs 如何根据给定的提示生成有创意的故事。