最近我参加了一个人工智能与自然语言处理的课程,这是第一周的学习笔记。这份笔记不涉及一般知识,全部都是与实践(我在这门课上的作业)有关的总结。
文章目录理论学习人工智能的五种模型:作业1. Rule Based 基于规则的模型2. Probability Based 基于概率的模型
理论学习
人工智能的五种模型:
Rule Based 基于规则的模型
Probability Based 基于概率的模型
Search Based 基于搜索的模型
Mathematical or Analytical Based 基于数学或统计的模型
Machine Learning (Deep Learning) Based 基于机器学习或深度学习的模型
作业
1. Rule Based 基于规则的模型
语言是有语法规则的,比如一个完整的句子一般都有“主谓宾”结构。因此我们可以根据一个规则生成句子(像不像人话再说)。首先我们创建一个规则(以空格分界)和语料库(以 “|” 分界):
simple_grammar = """
sentence => noun_phrase verb_phrase
noun_phrase => Article Adj* noun
Adj* => null | Adj Adj*
verb_phrase => verb noun_phrase
Article => 一个 | 这个
noun => 女人 | 篮球 | 桌子 | 小猫
verb => 看着 | 坐在 | 听着 | 看见
Adj => 蓝色的 | 好看的 | 小小的
"""
这个语法结构是:
名词性结构和动词性结构组成一个句子;
名词性结构由冠词、形容词结构和名词组成;
形容词结构由空、一个形容词或多个形容词组成;
动词性结构由动词和名词组成。
选择词语的时候,我们先按照“|”将字符串拆分,然后使用 random.choice 随机选择一个词。
>>> import random
>>> def adj(): return random.choice('蓝色的 | 好看的 | 小小的'.split('|')).split()[0] # 先拆分字符串,然后随机选择一个词
>>> adj()
'好看的'
然后我们还可以定义一个函数重复取词:
>>> def adj_star():
... return random.choice([lambda : '', lambda : adj() + adj_star()])()
>>> adj_star()
'好看的蓝色的'
>>> adj_star()
'小小的蓝色的好看的好看的'
可以看到,这个函数可以一次读取多次形容词。有两个地方需要说明:
第二行里调用了

本文记录了作者在人工智能与自然语言处理课程中的学习,主要探讨了基于规则和基于概率的两种模型。通过创建和解析语法规则,生成了符合规则的句子,并介绍了如何使用2-gram模型分析语料库,以提高生成句子的合理性。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



