居然可以这样理解【token】，中学生都能看懂！

农民伯伯 码农随心笔记 2024年09月21日 08:30

图片

本篇为各位同学介绍一个大语言模型中的重要概念token。众所周知，我们在对大模型进行训练和微调（Fine-Tuning）前，先要获得数据集，数据集一般都是以固定格式，多组对话组成，比如以下例子：


 `{`    `"instruction": "\"评估这个句子的拼写和语法错误\"。",`    `"input": "他吃完饭离开了餐厅。",`    `"output": "他吃完饭离开了餐厅。"`  `},`  `{`    `"instruction": "\"法国的首都是什么？\"",`    `"input": "",`    `"output": "\"法国的首都是巴黎。\""`  `},`  `{`    `"instruction": "将以下内容分类为动物、植物和矿物。",`    `"input": "\"橡树，铜矿石，大象\"",`    `"output": "\"橡树：植物\n铜矿石：矿物\n大象：动物\""`  `},`
这些文本除了文件字节大小参数外，开发者还引入了 token 作为大模型的重要的参数。


01
什么是大模型中的token


首先，我们知道，大模型（自然语言模型）处理的信息通常是文本。但是，计算机直接处理文本是很困难的，因为它只能理解数字和二进制代码。所以，我们需要把文本转换成计算机能理解的格式。
这里引入了“token”的概念。token可以理解为对输入文本进行分割和编码时的最小单位，它可以是单词、子词、字符或其他形式的文本片段。就像我们说话时，一个句子是由很多单词组成的，同样，一个文本也是由很多token组成的。这些token可以是单词，也可以是标点符号、数字等。就像我们说话时，一个句子是由很多单词组成的，同样，一段文本也是由很多token组成的。
举个例子，如果我们有一个句子：“我喜欢吃苹果。”，在处理这个句子时，我们可能会把它分割成以下几个token：
  • 我
  • 喜欢
  • 吃
  • 苹果
  • 。（注意，最后一个是句号，也被视为一个token）


图片

大模型在处理文本时，就是一个token一个token地进行的。它会学习不同token之间的关系，比如“我”和“喜欢”经常一起出现，而“苹果”通常是“吃”的对象等等。
通过这种方式，大模型能够理解和生成文本，因为它已经学会了token之间的复杂关系。

02
token数量如何计算


我们先来了解一下token的拆分：

1. 并非所有token都和单词一样长:

  • 有些token是一个完整的单词，比如 "cat"， "dog"。

  • 有些token只是一个词的一部分，比如 "un"，"ing"， "ly"。

  • 有些token只是一个字符，比如 "a", "1", "#".


2. 不同的语言模型使用不同的token化方式:

  • 这意味着，同一个句子，在不同的模型中，token的数量可能不同。


举个例子：

句子 "I love using large language models!"

  • - 单词数量: 6

  • - 字符数量 (包含空格): 31

  • - 使用GPT-3模型，token数量：8 ("I", " love", " using", " large", " language", " models", "!", "")


下面是一个简单的Python示例，使用`nltk`库来计算文本的token数量：

```pythonfrom nltk.tokenize import word_tokenize
def count_tokens(text):    # 预处理文本（这里只是简单地转换为小写）    text = text.lower()
    # 分词    tokens = word_tokenize(text)
    # 计数并返回token数量    return len(tokens)# 示例用法text = "我喜欢吃苹果。"token_count = count_tokens(text)print(f"Token数量: {token_count}")


token数量在大模型中扮演着至关重要的角色，主要体现在以下几个方面：
1. 影响模型的计算量和内存占用
2. 限制模型的输入和输出长度
3. 影响模型的表现
4. 影响模型训练和使用的成本


03
什么是tokenizer


图片

想象一下，我们要教一个只懂数字的小机器人学习语言。但是，语言是由文字组成的，机器人看不懂啊！这时候，就需要一个“翻译官”，把文字翻译成机器人能懂的数字，这个“翻译官”就是 tokenizer。Tokenizer的作用是把文本（比如句子或文章）转换成一系列的数字，这些数字代表了文本中的不同单词或字符。这样，机器人就能够理解和处理这些数字了。
Tokenizer 把输入的文本分成一个个小单元，然后将每个单元转换成一个数字，方便机器学习模型处理。

举个例子：

图片

  • 你对机器人说: "This is the first step in the NLP pipeline"。

  • Tokenizer 就把这句话分成: "This", "is", "the", "first", "step","in",  "the", "NLP", "pipeline"。

  • 然后，它会从它的小字典里查找每个词对应的数字，比如：


  - "This" -> 1
  - "is" -> 3 
  - "the" -> 5 
  - "first" -> 10
  - "step" -> 15
  - "in" -> 21
  - "the" - > 5 
  - "NLP" -> 120
  - "pipeline" -> 30

  • 这样，机器人就得到了数字序列: [1,3,5,10,15,21,5,120,30]，它就能理解这句话啦！


具体来说，tokenizer做了以下几件事：

1. 分词：把文本分割成一个个单词或字符。比如，"This is the first step in the NLP pipeline"这个句子，可能会被分割成 "This", "is", "the", "first", "step","in",  "the", "NLP", "pipeline" 9个单词。

2. 编码：为每个单词或字符分配一个唯一的数字编号。比如，"This"可能被编码为1，"is"可能被编码为3，以此类推，文本就被转换成了一系列的数字。

3. 解码（可选）：在需要把数字转换回文本时，tokenizer可以进行解码操作，将数字序列转换回原始的文本。

当然，我们可以用程序来完成tokenizer的过程。下面是一个简单的示例，使用Python的`nltk`库来创建和使用一个tokenizer：

from nltk.tokenize import word_tokenizefrom nltk.corpus import stopwords# 创建一个tokenizerstop_words = set(stopwords.words('english'))tokenizer = lambda text: [word.lower() for word in word_tokenize(text) if word.isalnum() and word.lower() not in stop_words]# 使用tokenizer进行分词和编码text = "I love eating apples."tokens = tokenizer(text)print(tokens)  # 输出: ['love', 'eating', 'apples']


在这个示例中，我们定义了一个简单的tokenizer，它会去除标点符号、小写化单词，并移除英语中的停用词（常见但不重要的词汇，如“the”、“and”等）。然后，我们使用这个tokenizer对一句话进行分词和编码，得到了一个由单词组成的列表，只有这样的格式才能被大模型使用。

04
总结


本篇为各位同学介绍了深度学习中，token，token数量，tokenizer，几个基本概念，我们重点记住以下几点：

  • Token指的是文本中的最小单位，可以是一个词、一个字符或者一个子词。


  • Token的数量取决于文本的长度和所使用的分词策略，它在深度学习模型中通常指的是模型处理的文本单元总数，是评价模型性能的一个重要指标。


  • 在深度学习模型中，tokenizer的作用是将原始文本转换成模型可以理解的数值形式，即token序列。通过tokenizer，模型能够将文本信息转化为可以进行数学运算的数据，进而进行训练和预测。