cs224n learning camp

课程资料

1. 课程主页
2. 中文笔记
3. 课程视频
4. 环境配置 本地环境
5. 环境配置 Docker
6. 作业链接

重要🔥🔥一些的资源：

1. 深度学习斯坦福教程
2. 廖雪峰python3教程
3. github教程
4. 莫烦机器学习教程
5. 深度学习经典论文
6. 斯坦福cs229代码(机器学习算法python徒手实现)
7. 本人博客

前言

自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！

数学知识复习

1.线性代数
2.概率论
3.凸函数优化
4.随机梯度下降算法

python 复习

python复习

学习安排

阶段 1

1. 自然语言处理和深度学习简介

• slides: lecture01-introduction
• 观看视频，了解自然语言处理的历史、背景和整个课程安排
• 学习笔记：自然语言处理与深度学习简介

2. 词的向量表示1：

• slides: lecture02-word2vec1
• 观看视频
• 学习笔记：wordvecotor

3. 论文导读：一个简单但很难超越的Sentence Embedding基线方法

• slides: paper1
• 论文笔记：Sentence Embedding

4. 作业：Assignment 1.1-1.2

• 1.1 Softmax
• 1.2 Neural Network Basics

阶段 2

1. 高级词向量表示：word2vec 2

• slides: lecture03
• 观看视频，了解
• 学习笔记： word2vec 2

2. Word Window分类与神经网络

• slides: lecture04
• 观看视频
• 学习笔记：Word Window分类与神经网络

3. 论文导读：词语义项的线性代数结构与词义消歧

• slides: paper2
• 论文笔记：词语义项的线性代数结构与词义消歧

4. 作业：Assignment 1.3-1.4

• 1.3 word2vec
• 1.4 Sentiment Analysis

阶段 3

1. 反向传播与项目指导：Backpropagation and Project Advice

• slides: lecture05
• 观看视频，了解
• 学习笔记： 反向传播与项目指导

2. TensorFlow入门

• slides: lecture06
• 观看视频
• 学习笔记：TensorFlow

3. 论文导读：高效文本分类

• slides: [paper]
• 论文笔记：高效文本分类

4. 作业：Assignment 2.1

• 2.1 Tensorflow Softmax

阶段 4

1. 反向传播与项目指导：Dependency Parsing

• slides: lecture07
• 观看视频，了解
• 学习笔记： 句法分析和依赖解析

2. RNN和语言模型

• slides: lecture08
• 观看视频
• 学习笔记：RNN和语言模型

3. 论文导读：词嵌入对传统方法的启发

• slides: [paper]
• 论文笔记：词嵌入对传统方法的启发

4. 作业：Assignment 2.2

• 2.2 Neural Transition-Based Dependency Parsing

阶段 5

1. 高级LSTM及GRU：LSTM and GRU

• slides: lecture09
• 观看视频，了解
• 学习笔记： 高级LSTM及GRU

2. 期中复习

• slides: lecture10
• 观看视频

3. 论文导读：基于转移的神经网络句法分析的结构化训练

• slides: [paper]
• 论文笔记：基于转移的神经网络句法分析的结构化训练

4. 作业：Assignment 2.3

• 2.3 Recurrent Neural Networks: Language Modeling

阶段 6

1. 机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention

• slides: lecture11
• 观看视频，了解
• 学习笔记： [机器翻译、序列到序列、注意力模型]http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html)

2. GRU和NMT的进阶

• slides: lecture12
• 观看视频
• 学习笔记：GRU和NMT的进阶

3. 论文导读：谷歌的多语种神经网络翻译系统

• slides: [paper]
• 论文笔记：谷歌的多语种神经网络翻译系统

4. 作业：Assignment 3.1

• 3.1 A window into NER

阶段 7

1. 机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention

• slides: lecture11
• 观看视频，了解
• 学习笔记： [机器翻译、序列到序列、注意力模型]http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html)

2. GRU和NMT的进阶

• slides: lecture12
• 观看视频
• 学习笔记：GRU和NMT的进阶

3. 论文导读：谷歌的多语种神经网络翻译系统

• slides: [paper]
• 论文笔记：谷歌的多语种神经网络翻译系统

4. 作业：Assignment 3.1

• 3.1 A window into NER

阶段 8

1. 语音识别的end-to-end模型

• slides: lecture13
• 观看视频，了解
• 学习笔记： 语音识别的end-to-end模型

2. 卷积神经网络:CNN

• slides: lecture14
• 观看视频
• 学习笔记：卷积神经网络

3. 论文导读：谷歌的多语种神经网络翻译系统

• slides: [paper]
• 论文笔记：读唇术

4. 作业：Assignment 3.2

• 3.2 Recurrent neural nets for NER

阶段 9

1. Tree RNN与短语句法分析

• slides: lecture15
• 观看视频，了解
• 学习笔记： Tree RNN与短语句法分析

2. 指代消解

• slides: lecture16
• 观看视频
• 学习笔记：指代消解

3. 论文导读：谷歌的多语种神经网络翻译系统

• slides: [paper]
• 论文笔记：Character-Aware神经网络语言模型

4. 作业：Assignment 3.3

• 3.3 Grooving with GRUs

阶段 10

1. DMN与问答系统

• slides: lecture17
• 观看视频，了解
• 学习笔记： DMN与问答系统

2. NLP存在的问题与未来的架构

• slides: lecture18
• 观看视频
• 学习笔记：指代消解

3. 论文导读：神经网络自动代码摘要

• slides: [paper]
• 论文笔记：神经网络自动代码摘要

6. 比赛

阶段 11

1. 论文导读：neural-turing-machines

• slides: [paper]
• 论文笔记：neural-turing-machines 2 论文导读： 深度强化学习用于对话生成
• slides: [paper]
• 论文笔记：深度强化学习用于对话生成

3. 图像对话：

• slides: [paper]
• 论文笔记：图像对话

阶段 12

比赛