读书笔记 | 《Python自然语言处理实战:核心技术与算法》| (1)

NLP基础

自然语言处理 (Natural Language Processing,NLP)

NLP基本分类

  • 音系学:指代语言中__发音__的系统化组织。
  • 词态学:研究__单词构成__以及相互之间的关系。
  • 句法学:给定文本的哪部分是__语法__正确的。
  • 语义学:给定文本的__含义__是什么?
  • 语用学:文本的__目的__是什么?

语言理解涉及语言、语境和各种语言形式的学科。

而自然语言生成(Natural Language Generation,NLG)恰恰相反,从结构化数据中以读取的方式自动生成文本。 该过程主要包含三个阶段:文本规划(完成结构化数据中的基础内容规划)、语句规划(从结构化数据中组合语句来表达信息流)、实现(产生语法通顺的语句来表达文本)。

NLP 研究任务

  • 机器翻译:计算机具备将一种语言翻译成另一种语言的能力。
  • 情感分析:计算机能够判断用户评论是否积极。
  • 智能问答:计算机能够正确回答输入的问题。
  • 文摘生成:计算机能够准确归纳、总结并产生文本摘要。
  • 文本分类:计算机能够采集各种文章,进行主题分析,从而进行自动分类。
  • 舆论分析:计算机能够判断目前舆论的导向。
  • 知识图谱:知识点相互连接而成的语义网络。

NLP 基本术语

1. 分词(segment)

2. 词性标注(part-of-speech tagging)

对词的词性标注,词性:动词、名词、形容词等,例如:我/r爱/v北京/ns天安门/ns。其中,ns代表名词,v代表动词,ns、v 都是标注,以此类推。

3. 命名实体识别(NER,Named Entity Recognition)

命名实体指从文本中识别出具有特定类别的实体(通常名词),例如人名、地名、机构名、专有名词等。

4. 句法分析(syntax parsing)

5. 指代消解(anaphora resolution)

6. 情感识别(emotion recognition)

7. 纠错(correction)

8. 问答系统(QA system)

中文分词技术

规则分词

缺点:词典难维护

机器分词,通过维护词典,在切分语句时,与词典中的词逐一匹配,找到则切分,否则不切分。

按匹配切分方式分:

  1. 正向最大匹配法(Maximum Match Method, MM法)
  2. 逆向最大匹配法(Reverse Maximum Match Method,RMM法)
  3. 双向最大匹配法(Bi-directction Matching method)

逆向最大匹配法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
class IMM(object):

def __init__(self, dic_path):
self.dictionary = set()
self.maximum = 0
# 读取词典
with open(dic_path, 'r', encoding='utf8') as f:
for line in f:
line = line.strip()
if not line:
continue
self.dictionary.add(line)
if len(line) > self.maximum:
self.maximum = len(line)

def cut(self, text):
result = []
index = len(text)
while index > 0:
word = None
for size in range(self.maximum, 0, -1):
if index - size < 0:
continue
piece = text[(index - size):index]
if piece in self.dictionary:
word = piece
result.append(word)
index -= size
break
if word is None:
index -= 1
# 数组逆序: 取从后向前的元素
return result[::-1]

print('完成')
1
2
3
4
5
6
7
8
9
text = "南京市长江大桥"
tokenizer = IMM('data/imm_dic.txt')

print(tokenizer.dictionary)

print(tokenizer.cut(text))

# {'长途跋涉', '百度', '长江', '我', '是', '啊', '南京市', '大桥', '他', '长江大桥', '你', '南京', '她'}
# ['南京市', '长江大桥']

统计分词

其主要思想是把每个词看做是由词的最小单位的各个字组成的,如果相连的字在不 同的文本中出现的次数越多,就证明这相连的字很可能就是一个词。因此我们就可以利 用字与字相邻出现的频率来反应成词的可靠度,统计语料中相邻共现的各个字的组合的 频度,当组合频度高于某一个临界值时,我们便可认为此字组可能会构成一个词语。

​ 基于统计的分词,一般要做如下两步操作:

  1. 建立统计语言模型。
  2. 对句子进行单词划分,然后对划分结果进行概率计算,获得概率最大的分词方式。这里就用到了统计学习算法,如隐含马尔可夫(HMM)、条件随机场(CRF)等。

语言模型

HMM 模型

​ 隐含马尔可夫模型(HMM)是将分词作为字在字串中的序列标注任务来实现的。其基本思路是:每个字在构造一个特定的词语时都占据着一个确定的构词位置(即词位),现规定每个字最多只有四个构词位置:即B(词首)、M(词中)、E(词尾)和S(单独成词),那么下面句子 1)的分词结果就可以直接表示成如 2)所示的逐字标注形式:

对比机械分词法,这些统计分词方法不需耗费人力维护词典,能较好地处理歧义和未登录词,是目前分词中非常主流的方法。

但其分词的效果很依赖训练语料的质量,且计算量相较于机械分词要大得多。

混合分词

先基于词典分词,再用统计分词方法辅助。

这样,能在保证词典分词准确率的基础上,对未登录词和歧义词有较好识别。

中文分词工具-Jieba

https://github.com/fxsjy/jieba

Jieba分词结合了基于规则和基于统计这两类方法。对于未登录词,Jieba使用了基于汉字成词的HMM模型,采用了Viterbi算法进行推导。

Q&A

补充

参考

感谢帮助!

  • 《Python自然语言处理实战 核心技术与算法》涂铭、刘祥、刘树春 著