Week 1 Introduction to NLP and Language Modelling

目录

一、自然语言处理简史

1.1 1950 年代

1.2 1960-1970 年代

1.3 1970-1980 年代

1.4 1980-1990 年代

1.5 1990-2000 年代：机器学习的崛起

1.6 2000 年代：深度学习

二、语言模型可以用于哪些任务

2.1 Natural Language Tasks:Syntactic Tasks（句法任务）

2.2 Natural Language Tasks:Semantic Tasks（语义任务）

2.3 Natural Language Tasks:Pragmatics/Discourse Tasks（语用学/话语任务）

2.4 Natural Language Tasks:Other Tasks

三、N-gram 语言模型（重点）

3.1 链式法则（chain rule）

 3.2 马尔可夫假设（The Markov Assumption）

 3.3 N-gram的例子

 3.4 N-gram 语言模型的一些问题

四、Smoothed n-grams（平滑处理）- 给之前没有见过的事件赋予概率(重点) 

4.1 平滑处理的种类

4.2 计算公式（以bigrams 为例）- 拉普拉斯平滑（“加一” 平滑）

 4.3 计算公式（以unigram 为例）- 拉普拉斯平滑（“加一” 平滑）

五、评估语言模型

5.1 评估

5.2 Perplexity

5.3 Perplexity 得分的例子

六、总结

一、自然语言处理简史

1.1 1950 年代

• Computing Machinery and Intelligence（计算机器与智能）, Alan Turing
  • Turing test（图灵测试）：通过一个对话测试来测量机器智能
• Syntactic Structures（句法结构）, Noam Chomsky
  • Formal language theory（形式语言理论）：使用代数和集合论将形式语言定义为符号序列
  • 例如：Colourless green ideas sleep furiously.（无色的绿色思想激烈地沉睡。）
    • 该句子从意义上讲不通
    • 但它的语法似乎还不错
    • 强调了语义（含义）和句法（句子结构）二者的区别

1.2 1960-1970 年代<