NlpFoundation

1、基础

如何将计算机不认识的文本特征转化为数字特征

常见的特征分类有类别特征（categorical feature）和数值特征（numeric feature）。 类别特征一般是有限集合， 没有大小之分， 是并列权重。数值特征如：年龄， 工资等， 有数值大小之分。计算机只能处理数值型特征，因此需要将非数值特征转化为计算机能识别的数字， 如下表中的gender和nationality。gender为二元特征， nationality为多元的类别特征。

国籍表示成1-197之间的整数(全球大概有197个国家)， 但这些整数只是一个类别， 它们之间无法比较大小， 因为这些整数只是类别而已， 并不是真正的数值， 所以需要对国籍做one-hot Embedding。需要注意的是我们这里用数字表示的类别特征从1开始， 因为0要用来保留未知或缺失的国籍，数据库中经常会有缺失数据， 这些缺失的国籍就用0来表示。

对于性别， 用0表示女性， 1表示男性。

上面提到， 1-197只代表一个类别， 它们之间无大小之分， 因此需要对国籍进一步做one-hot Embedding。

类别特征转化数字流程

上面我们将每个国籍与一个数字进行了映射， 因此会得到这样的一个字典{‘US’-1, ‘China’:2, ‘India’:3, ‘German’: 4,…}， 针对197种国籍， 每个用数字代表的国籍又可以映射为197×1的向量， 使用上面的字典查找国籍的index（如index(China) = 2）, 则该197×1的向量的第二维为1， 其他为0。

"US":1->[1, 0, 0, 0,...]
"China":2->[0, 1, 0, 0,...]
...

nationality转成one-hot向量后得到的表格如下。

针对表格中人的三个特征（age, gender, nationality）转化为数字后， 可以得到1+1+197=199维的向量，向量中每个数值的含义如下图。

(35, Male, Chine) = (35, 1, 0, 1, 0, ...)

为什么要使用one-hot向量来表示呢，

如果不使用one-hot向量而用1， 2， 3， …分别代表US, China, India…， 则在此列运算时，”US” + “China” = “India”， 这显然不合理， 而用one-hot向量表示时， “US” + “China” = [1, 0, 0, …] + [0, 1, 0, …] = [1, 1, 0,…]。 向量[1, 1, 0, 0…]表示既包含US也包好China的类别信息， 可以更好的表示二者类别特征相加的意思，显然one-hot表示更为合理。

文本特征处理

在自然语言处理中， 数字都是文本， 文本可以分割成很多单词， 需要把单词表示成数值向量， 每个单词就是一个类别， 如果字典中有1万个单词， 那么就有1万个类别。很显然， 单词就是categorical features, 用categorical features的方法把单词变成数值向量。

文本处理的第一步就是把文本处理成单词， 一段话、一篇文章或一本书都可以表示成一个字符串， 可以把文本分成很多单词，这个操作叫作tokenization。

第一步：文本->单词： 分词。 tokenization就是把文本变成单词列表。

before:
S = "... to be or not to be...".
after:
L = [..., to, be, or, not, to, be, ...]

第二步： 计算词频， 也就是每个单词出现的次数， 可以用一个hash表来计数， 开始时hash表是空的， 然后按照下面的方式更新hash表。

如果单词w不在hash表中， 这就说明到目前为止文本中只出现过一次单词w， 所以把w加入hash表中， 让它的词频等于1。假如单词w在hash表中， 说明之前文本中就已经出现过单词w了， 需要将它的词频加1。

总结如下：
若词w不在hash表中，则add(w, 1)
否则dict[w] = dict[w] + 1

如下图所示

第三步： 排序， 将字典中的词频从大到小排序

表中最前面的是词频最高的词， 表最后是词频最低的。

然后把词频换成index， 转化完成的hash表称为词汇表vocabulary。词频最高的index是1。

统计词频的目的是保留常用词， 去掉词频词。比如你可以设置保存最常用的前10k个单词。为什么要去掉地频词呢， 有如下三点原因。

1、很多地频词是name entities, 在大多数的应用中， name entities没有任何意义。

2、拼写过程难免出现错误， 低频词还有可能是拼写错误造成的。

3、不希望词汇表vocabulary太大， vocabulary越大， one-hot向量维度就越高。

第一步的tokenization把文本分割成单词的列表， 第二步建立了一个字典（也可为hash表）， 将每个单词映射到一个正整数。下面开始第三步， 对单词做one-hot encoding。

如果有需要的话， 可以将每个index转换成一个one-hot向量。one-hot向量的维度就是字典vocabulary的维度。

上面提到， 字典中的低频词会被删除， 所以有些词在字典中找不到。假如有个错误拼写的单词bi， 这个单词在字典中找不到， 做one-hot encoding时可以忽略这些词， 也可以将其编码为0.

2、文本处理与词嵌入

应用的数据集是IMDB(数据集下载地址)](http://ai.stanford.edu/~amaas/data/sentiment/))电影评论数据集， 该数据集包含了5万条偏向明显的评论， 其中2.5万条作为训练集， 2.5万条作为测试机。label为pos和neg，是一个二分类问题。

1、文本变成序列， text to sequence， 也就是tokenization， 把文本分割成单词， 一个token就是一个单词， 有些应用中， token可以是一个符号。

会有很多考虑， 1、是否将大写变成小写， 正常情况下， 大小写意义相同， 但有些特例，比如Apple表示苹果公司， 而apple表示水果。2、有些应用会去掉停用词stop word。 3、会存在拼写错误的情况， 因此需要typo correction文本纠错。

2、建立字典。首先统计词频， 去掉地频词， 然后每个单词对应一个正整数。 有了字典， 可以将每个单词映射成一个整数， 这样一句话可以用正整数的列表表示， 这个列表就是sequences。

3、Encoding编码

将字典中的单词映射到索引，索引列表就是一个sequence。如果有必要的话， 还可以进一步做one-hot encoding, 将单词表示成one-hot向量。在IMDB电影评论的例子中， 数据是50k条， 每条电影评论可是表示成一个字符串， tokenization（句子切分成单词列表）之后， 每条电影评论都被转化成一个sequence。

这样的话每一条评论都被转化成一个sequence序列。 注意每个单词的索引是在25k条评论tokenization之后放在一个列表中， 经过排序， 截断之后的索引。排名越靠前， 该单词被使用的频率越高。

但是电影评论有长有短

这样就造成一个问题， 训练数据没有对齐，每条sequence都有不同的长度， 做机器学习训练时需要把数据存储在张量中， 这就要求吧序列对齐， 让每条序列都有相同的长度。

解决方法就是可以固定长度w， 假如这个序列太长， 可切掉前面的单词，当然也可以保留前面的单词。

如果序列太短的话， 就用padding把长度增加到w。

这样处理之后， 所以序列的长度都是w。

对齐之后的sequence就可以存储到一个矩阵中， 文本处理的过程就是每个词用一个正整数来表示， 下一步就是word embedding。

keras中文本处理流程实例。

# !/usr/bin/env python
# -*-coding:utf-8 -*-
"""
# @File       : func.py
# @Time       ：2023/11/29 9:54
# @version    ：python 3.9
# @Software   : PyCharm
# @Description：
"""
# ================【功能：】====================
import os
import re

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras import preprocessing


# 剔除html标签
def rm_tags(text):
    re_tag = re.compile(r'<[^>]+>')
    return re_tag.sub('', text)


def read_file(filetype):  # 读取文件
    path = r"./aclImdb"
    file_list = []

    positive_path = os.path.join(path, filetype, 'pos')  # 正面评价的文件路径
    for f in os.listdir(positive_path):
        file_list += [os.path.join(positive_path, f)]  # 存储到文件列表中

    negative_path = os.path.join(path, filetype, 'neg')  # 负面评价的文件路径
    for f in os.listdir(negative_path):
        file_list += [os.path.join(negative_path, f)]
    print('read', filetype, 'files', len(file_list))  # 打印文件个数

    all_labels = ([1] * 12500 + [0] * 12500)  # 前12500值正面都为1， 后12500是负面都为0
    all_texts = []

    # print(file_list)
    # 读取所有文件
    for fi in file_list:
        with open(fi, encoding='utf-8') as file_input:
            # 先读取文件， 使用join连接所有字符串， 然后使用rm_tags删除tag最后存入列表all_texts
            all_texts += [rm_tags(" ".join(file_input.readlines()))]
    return all_labels, all_texts

# train_text:  list[string], 一条一条的评论放在一个列表中
y_train, train_text = read_file("train")
print("train_text: \n", train_text[0])

# 为了方便打印， 这里只查看前2条评论的转化情况
train_text = train_text[:2]
vocabulary = 1000
tokenizer = Tokenizer(num_words=vocabulary)

# fit_on_texts的过程就是将文本切分成一个一个单词， 建立单词与index之间的索引
tokenizer.fit_on_texts(train_text)
# word_index： 单词与索引的映射字典。dict[(string, int)]
word_index = tokenizer.word_index
print("word_index: \n", word_index)

# sequence_train: 将所有的评论中的每个单词映射成list列表， 然后将所有的列表放在一个大列表中。list[list[int]]
sequences_train = tokenizer.texts_to_sequences(train_text)
print("sequence_train: \n", sequences_train)
print(len(sequences_train[0]))
print(len(sequences_train[1]))

# 文本对齐
word_num = 200
x_train = preprocessing.sequence.pad_sequences(sequences_train, maxlen=word_num)
print(len(x_train[0]))
print(len(x_train[1]))

"""
train_text: 
 Bromwell High is a cartoon comedy. It ran at the same time as some other programs about school life, such as "Teachers". My 35 years in the teaching profession lead me to believe that Bromwell High's satire is much closer to reality than is "Teachers". The scramble to survive financially, the insightful students who can see right through their pathetic teachers' pomp, the pettiness of the whole situation, all remind me of the schools I knew and their students. When I saw the episode in which a student repeatedly tried to burn down the school, I immediately recalled ......... at .......... High. A classic line: INSPECTOR: I'm here to sack one of your teachers. STUDENT: Welcome to Bromwell High. I expect that many adults of my age think that Bromwell High is far fetched. What a pity that it isn't!
word_index: 
 {'the': 1, 'to': 2, 'a': 3, 'on': 4, 'of': 5, 'or': 6, 'as': 7, 'who': 8, 'is': 9, 'it': 10, 'that': 11, 'what': 12, 'bolt': 13, 'i': 14, 'and': 15, 'for': 16, 'like': 17, 'he': 18, 'where': 19, 'bromwell': 20, 'high': 21, 'in': 22, 'once': 23, 'if': 24, 'be': 25, 'streets': 26, 'you': 27, "it's": 28, 'with': 29, 'his': 30, 'other': 31, 'school': 32, 'such': 33, 'teachers': 34, 'can': 35, 'see': 36, 'their': 37, 'when': 38, 'everything': 39, 'homeless': 40, 'bet': 41, 'rich': 42, 'do': 43, 'comedy': 44, 'at': 45, 'about': 46, 'life': 47, 'my': 48, 'years': 49, 'me': 50, 'students': 51, 'all': 52, 'student': 53, 'one': 54, 'think': 55, "isn't": 56, 'has': 57, 'an': 58, 'but': 59, 'help': 60, 'street': 61, 'were': 62, 'did': 63, 'from': 64, 'work': 65, 'matter': 66, 'people': 67, 'while': 68, 'worrying': 69, 'next': 70, 'given': 71, 'live': 72, 'without': 73, 'luxuries': 74, 'home': 75, 'mel': 76, 'making': 77, "he's": 78, 'by': 79, 'molly': 80, 'before': 81, 'losing': 82, 'her': 83, 'used': 84, 'being': 85, 'they': 86, 'money': 87, 'maybe': 88, 'cartoon': 89, 'ran': 90, 'same': 91, 'time': 92, 'some': 93, 'programs': 94, '35': 95, 'teaching': 96, 'profession': 97, 'lead': 98, 'believe': 99, "high's": 100, 'satire': 101, 'much': 102, 'closer': 103, 'reality': 104, 'than': 105, 'scramble': 106, 'survive': 107, 'financially': 108, 'insightful': 109, 'right': 110, 'through': 111, 'pathetic': 112, "teachers'": 113, 'pomp': 114, 'pettiness': 115, 'whole': 116, 'situation': 117, 'remind': 118, 'schools': 119, 'knew': 120, 'saw': 121, 'episode': 122, 'which': 123, 'repeatedly': 124, 'tried': 125, 'burn': 126, 'down': 127, 'immediately': 128, 'recalled': 129, 'classic': 130, 'line': 131, 'inspector': 132, "i'm": 133, 'here': 134, 'sack': 135, 'your': 136, 'welcome': 137, 'expect': 138, 'many': 139, 'adults': 140, 'age': 141, 'far': 142, 'fetched': 143, 'pity': 144, 'homelessness': 145, 'houselessness': 146, 'george': 147, 'carlin': 148, 'stated': 149, 'been': 150, 'issue': 151, 'never': 152, 'plan': 153, 'those': 154, 'considered': 155, 'human': 156, 'going': 157, 'vote': 158, 'most': 159, 'just': 160, 'lost': 161, 'cause': 162, 'things': 163, 'racism': 164, 'war': 165, 'iraq': 166, 'pressuring': 167, 'kids': 168, 'succeed': 169, 'technology': 170, 'elections': 171, 'inflation': 172, "they'll": 173, 'end': 174, 'up': 175, 'month': 176, 'had': 177, 'entertainment': 178, 'sets': 179, 'bathroom': 180, 'pictures': 181, 'wall': 182, 'computer': 183, 'treasure': 184, 'goddard': 185, "bolt's": 186, 'lesson': 187, 'brooks': 188, 'directs': 189, 'stars': 190, 'plays': 191, 'man': 192, 'world': 193, 'until': 194, 'deciding': 195, 'make': 196, 'sissy': 197, 'rival': 198, 'jeffery': 199, 'tambor': 200, 'thirty': 201, 'days': 202, 'succeeds': 203, 'wants': 204, 'future': 205, 'project': 206, 'more': 207, 'buildings': 208, "bet's": 209, 'thrown': 210, 'bracelet': 211, 'leg': 212, 'monitor': 213, 'every': 214, 'move': 215, "can't": 216, 'step': 217, 'off': 218, 'sidewalk': 219, 'nickname': 220, 'pepto': 221, 'vagrant': 222, 'after': 223, 'written': 224, 'forehead': 225, 'meets': 226, 'characters': 227, 'including': 228, 'woman': 229, 'name': 230, 'lesley': 231, 'ann': 232, 'warren': 233, 'ex': 234, 'dancer': 235, 'got': 236, 'divorce': 237, 'pals': 238, 'sailor': 239, 'howard': 240, 'morris': 241, 'fumes': 242, 'teddy': 243, 'wilson': 244, 'are': 245, 'already': 246, "they're": 247, 'survivors': 248, 'not': 249, 'reaching': 250, 'mutual': 251, 'agreements': 252, 'fight': 253, 'flight': 254, 'kill': 255, 'killed': 256, 'love': 257, 'connection': 258, 'between': 259, "wasn't": 260, 'necessary': 261, 'plot': 262, 'found': 263, 'stinks': 264, "brooks'": 265, 'observant': 266, 'films': 267, 'prior': 268, 'shows': 269, 'tender': 270, 'side': 271, 'compared': 272, 'slapstick': 273, 'blazing': 274, 'saddles': 275, 'young': 276, 'frankenstein': 277, 'spaceballs': 278, 'show': 279, 'having': 280, 'something': 281, 'valuable': 282, 'day': 283, 'hand': 284, 'stupid': 285, "don't": 286, 'know': 287, 'should': 288, 'give': 289, 'instead': 290, 'using': 291, 'monopoly': 292, 'this': 293, 'film': 294, 'will': 295, 'inspire': 296, 'others': 297}
sequence_train: 
 [[20, 21, 9, 3, 89, 44, 10, 90, 45, 1, 91, 92, 7, 93, 31, 94, 46, 32, 47, 33, 7, 34, 48, 95, 49, 22, 1, 96, 97, 98, 50, 2, 99, 11, 20, 100, 101, 9, 102, 103, 2, 104, 105, 9, 34, 1, 106, 2, 107, 108, 1, 109, 51, 8, 35, 36, 110, 111, 37, 112, 113, 114, 1, 115, 5, 1, 116, 117, 52, 118, 50, 5, 1, 119, 14, 120, 15, 37, 51, 38, 14, 121, 1, 122, 22, 123, 3, 53, 124, 125, 2, 126, 127, 1, 32, 14, 128, 129, 45, 21, 3, 130, 131, 132, 133, 134, 2, 135, 54, 5, 136, 34, 53, 137, 2, 20, 21, 14, 138, 11, 139, 140, 5, 48, 141, 55, 11, 20, 21, 9, 142, 143, 12, 3, 144, 11, 10, 56], [145, 6, 146, 7, 147, 148, 149, 57, 150, 58, 151, 16, 49, 59, 152, 3, 153, 2, 60, 154, 4, 1, 61, 11, 62, 23, 155, 156, 8, 63, 39, 64, 157, 2, 32, 65, 6, 158, 16, 1, 66, 159, 67, 55, 5, 1, 40, 7, 160, 3, 161, 162, 68, 69, 46, 163, 33, 7, 164, 1, 165, 4, 166, 167, 168, 2, 169, 170, 1, 171, 172, 6, 69, 24, 173, 25, 70, 2, 174, 175, 4, 1, 26, 59, 12, 24, 27, 62, 71, 3, 41, 2, 72, 4, 1, 26, 16, 3, 176, 73, 1, 74, 27, 23, 177, 64, 3, 75, 1, 178, 179, 3, 180, 181, 4, 1, 182, 3, 183, 15, 39, 27, 23, 184, 2, 36, 12, 28, 17, 2, 25, 40, 11, 9, 185, 186, 187, 76, 188, 8, 189, 8, 190, 7, 13, 191, 3, 42, 192, 8, 57, 39, 22, 1, 193, 194, 195, 2, 196, 3, 41, 29, 3, 197, 198, 199, 200, 2, 36, 24, 18, 35, 72, 22, 1, 26, 16, 201, 202, 73, 1, 74, 24, 13, 203, 18, 35, 43, 12, 18, 204, 29, 3, 205, 206, 5, 77, 207, 208, 1, 209, 4, 19, 13, 9, 210, 4, 1, 61, 29, 3, 211, 4, 30, 212, 2, 213, 30, 214, 215, 19, 18, 216, 217, 218, 1, 219, 78, 71, 1, 220, 221, 79, 3, 222, 223, 28, 224, 4, 30, 225, 19, 13, 226, 31, 227, 228, 3, 229, 79, 1, 230, 5, 80, 231, 232, 233, 58, 234, 235, 8, 236, 237, 81, 82, 83, 75, 15, 83, 238, 239, 240, 241, 15, 242, 243, 244, 8, 245, 246, 84, 2, 1, 26, 247, 248, 13, 56, 78, 249, 84, 2, 250, 251, 252, 17, 18, 23, 63, 38, 85, 42, 19, 28, 253, 6, 254, 255, 6, 25, 256, 68, 1, 257, 258, 259, 80, 15, 13, 260, 261, 2, 262, 14, 263, 47, 264, 2, 25, 54, 5, 76, 265, 266, 267, 19, 268, 2, 85, 3, 44, 10, 269, 3, 270, 271, 272, 2, 30, 273, 65, 33, 7, 274, 275, 276, 277, 6, 278, 16, 1, 66, 2, 279, 12, 28, 17, 280, 281, 282, 81, 82, 10, 1, 70, 283, 6, 4, 1, 31, 284, 77, 3, 285, 41, 17, 52, 42, 67, 43, 38, 86, 286, 287, 12, 2, 43, 29, 37, 87, 88, 86, 288, 289, 10, 2, 1, 40, 290, 5, 291, 10, 17, 292, 87, 6, 88, 293, 294, 295, 296, 27, 2, 60, 297]]
# 对齐前
138
425
# 对齐后
200
200

Process finished with exit code 0

"""

以上的过程总结如下：以一条评论为例。

对于测试数据集同样完成tokenization->encoding->alignment这三步。但是需要注意的是， 训练集中的字典与测试集中的字典必须相同， 否则可能会出现同样的单词在测试集中的索引与训练集中的所有不同。

3、Word Embedding词嵌入 word to vector

将单词进一步表示成向量， 之前每个单词都用数字表示， 该如何把这些特征表示成向量呢。显然可以用如下图所示的one-hot编码。

但是如果字典中有1万个单词， 那么这个one-hot维度就太大了， 因此需要做word embedding， 将这些高维向量映射成低维向量。

上图中P是参数矩阵， 它的参数可以在训练过程中从训练数据中学习。ei是字典中第i个单词的one-hot向量。

矩阵P的大小是d×v， d是词向量的维度， 由用户自主定义。矩阵乘法的结果是Xi， Xi就是词向量， 维度是d。

训练好的词向量展示在坐标中， 发现相似的词在坐标中的距离比较近。

keras中提供的Embedding层， 用户需要指定vocabulary的大小和词向量的维度以及每个sequence的长度。

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Flatten, Dense, Embedding

embedding_dim = 8
vocabulary = 100000
word_num = 20
model = Sequential()

model.add(Embedding(vocabulary, embedding_dim, input_length=word_num))

model.summary()

上图中， 处理数据时， 词汇表的大小是10k，以及每个电影评论中保留最后20个词（不足就补齐）， 设置词向量的维度等于8。

Embedding层的输出是20x8的句子， 也就是word_num × Embedding_dim

embedding层的参数量等于80k， 80k是这样计算的，Embedding层中有一个参数矩阵p， 矩阵的行数等于vocabulary， 所以矩阵有10k行， 矩阵的列数d是词向量的维度embedding_dim设置为8， 所以矩阵的大小是10k×8=80k， 所以Embedding层一共有80k个参数。

上面已经完成了文本处理和word embed， 每条电影评论保留最后的20个单词， 每个单词用一个8维的词向量表示。现在用logistics regression来做二分类。

Logistic regression for binary classification， 判断电影评论是正面的还是负面的， 用这几行就可实现一个分类器。

from keras.models import Sequential
from keras.layers import Flatten, Dense, Embedding

embedding_dim = 8
model = Sequential()  # 就把网络层按照顺序搭建起来
# 添加Embedding层， Embedding层的输出是20x8的句子， 每条电影评论中有20个单词， 每个单词用8维的向量表示
model.add(Embedding(vocabulary, embedding_dim, input_length=word_num))
# 展平操作
model.add(Flatten())
# 全连接层， 输出1维， 用sigmoid激活函数， 这一层的输出是介于0-1之间的浮点数。0代表负面评价， 1代表正面评价
model.add(Dense(1, activation='sigmoid'))
# summary函数打印模型的概要
model.summary()

下面是编译模型， 然后训练损失函数来拟合模型。

from tensorflow.keras import optimizers
epochs = 50
model.compile(optimizer=optimizer.RMSprop(lr=0.0001), loss='binary_crossentropy', metrics=['acc'])
history = model.fit(x_train, y_train, epochs=epochs, 
                   batch_size=32, validation_data=(x_valid, y_valid))

epochs的意思是把2万条数据扫一遍叫作igepochs， 50个epochs的意思是把训练数据全部扫50遍。

训练得到的准确率和损失曲线如下。

上面的过程总结如下：

针对每条电影评论， 首先进行tokenization， 将电影评论分割成一个一个的单词， 然后把每个单词编码成一个一个数字， 这样一条电影评论就可以用正整数的序列来表示了， 这个正整数的序列叫作sequence， sequence就是神经网络中Embedding的输入。

由于电影评论长短不一， 得到的sequences长短也不一样， 无法存储在一个矩阵中， 解决方法就是alignment对齐， 假设长度大于20个， 就只保留最后20个， 假设长度小于20， 就用0补齐，将长度补到20个， 这样每个sequence都是20个单词长度， 后面就是word embedding.

把长度为20的sequences输入embedding层， embedding层把每个单词映射到8维的词向量， 所以每个长度为20的句子用一个20x8的矩阵来表示

然后用flatten将20x8的矩阵展平， 变成160维的向量， 最后用logistics regression分类器做分类。

embedding层有一个参数矩阵， 大小是1万×8， 1万就是词典里面的单词个数， 8是词向量的维度， 每个单词被映射为8维的词向量， 这个logistics regression分类器有161个参数， 输入是160维的向量， 所以分类器有160维的参数向量， 分类器还有一个bias偏置量， 所以一共有161个参数。