cs224n learning camp

课程资料

1. 课程主页
2. 中文笔记
3. 课程视频
4. 环境配置（推荐使用Linux或者Mac系统，以下环境搭建方法皆适用）

• 本地环境
• Docker环境

6. 作业链接

重要🔥🔥一些的资源：

1. 深度学习斯坦福教程
2. 廖雪峰python3教程
3. github教程
4. 莫烦机器学习教程
5. 深度学习经典论文
6. 斯坦福cs229代码(机器学习算法python徒手实现)
7. 本人博客

前言

自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！

学员要求

• 具有python编程基础
• 了解并掌握高等数学、概率论、线性代数知识
• 了解并掌握基础机器学习算法：梯度下降、线性回归、逻辑回归、Softmax、SVM、PAC（先修课程斯坦福cs229 或者周志华西瓜书）
• 具有英语4级水平（深度学习相关学习材料、论文基本都是英文，一定要阅读英文原文，进步和提高的速度会加快）

知识复习

为了让大家逐渐适应英文阅读，复习材料我们有中英两个版本，但是推荐大家读英文

数学复习（斯坦福资料）

1.线性代数
2.概率论
3.凸函数优化
4.随机梯度下降算法

Python复习（斯坦福资料）

Python复习

学习安排

阶段 1

1. 自然语言处理和深度学习简介

• 课件: lecture01-introduction
• 观看视频
• 学习笔记：自然语言处理与深度学习简介

2. 词的向量表示1：

• 课件: lecture02
• 观看视频
• 学习笔记：wordvecotor

3. 论文导读：一个简单但很难超越的Sentence Embedding基线方法

• 课件: paper1
• 论文笔记：Sentence Embedding

4. 作业：Assignment 1.1-1.2

• 1.1 Softmax
• 1.2 Neural Network Basics

阶段 2

1. 高级词向量表示：word2vec 2

• 课件: lecture03
• 观看视频
• 学习笔记： word2vec-2

2. Word Window分类与神经网络

• 课件: lecture04
• 观看视频
• 学习笔记：Word Window分类与神经网络

3. 论文导读：词语义项的线性代数结构与词义消歧

• 课件: paper2
• 论文笔记：词语义项的线性代数结构与词义消歧

4. 作业：Assignment 1.3-1.4

• 1.3 word2vec
• 1.4 Sentiment Analysis

阶段 3

1. 反向传播与项目指导：Backpropagation and Project Advice

• 课件: lecture05
• 观看视频
• 学习笔记： 反向传播与项目指导

2. TensorFlow入门

• 课件: lecture06
• 观看视频
• 学习笔记：TensorFlow

3. 论文导读：高效文本分类

• 课件: [paper]
• 论文笔记：高效文本分类

4. 作业：Assignment 2.1

• 2.1 Tensorflow Softmax

阶段 4

1. 反向传播与项目指导：Dependency Parsing 、、、、、、、、、、、、、、、

• 课件: lecture07
• 观看视频
• 学习笔记： 句法分析和依赖解析

2. RNN和语言模型

• 课件: lecture08
• 观看视频
• 学习笔记：RNN和语言模型

3. 论文导读：词嵌入对传统方法的启发

• 课件: [paper]
• 论文笔记：词嵌入对传统方法的启发

4. 作业：Assignment 2.2

• 2.2 Neural Transition-Based Dependency Parsing

阶段 5

1. 高级LSTM及GRU：LSTM and GRU

• 课件: lecture09
• 观看视频
• 学习笔记： 高级LSTM及GRU

2. 期中复习

• 课件: lecture10
• 观看视频

3. 论文导读：基于转移的神经网络句法分析的结构化训练

• 课件: [paper]
• 论文笔记：基于转移的神经网络句法分析的结构化训练

4. 作业：Assignment 2.3

• 2.3 Recurrent Neural Networks: Language Modeling

阶段 6

1. 机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention

• 课件: lecture11
• 观看视频
• 学习笔记： [机器翻译、序列到序列、注意力模型]http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html)

2. GRU和NMT的进阶

• 课件: lecture12
• 观看视频
• 学习笔记：GRU和NMT的进阶

3. 论文导读：谷歌的多语种神经网络翻译系统

• 课件: [paper]
• 论文笔记：谷歌的多语种神经网络翻译系统

4. 作业：Assignment 3.1

• 3.1 A window into NER

阶段 7

1. 语音识别的end-to-end模型

• 课件: lecture13
• 观看视频
• 学习笔记： 语音识别的end-to-end模型

2. 卷积神经网络:CNN

• 课件: lecture14
• 观看视频
• 学习笔记：卷积神经网络

3. 论文导读：谷歌的多语种神经网络翻译系统

• 课件: [paper]
• 论文笔记：读唇术

4. 作业：Assignment 3.2

• 3.2 Recurrent neural nets for NER

阶段 8

1. Tree RNN与短语句法分析

• 课件: lecture15
• 观看视频
• 学习笔记： Tree RNN与短语句法分析

2. 指代消解

• 课件: lecture16
• 观看视频
• 学习笔记：指代消解

3. 论文导读：谷歌的多语种神经网络翻译系统

• 课件: [paper]
• 论文笔记：Character-Aware神经网络语言模型

4. 作业：Assignment 3.3

• 3.3 Grooving with GRUs

阶段 9

1. DMN与问答系统

• 课件: lecture17
• 观看视频
• 学习笔记： DMN与问答系统

2. NLP存在的问题与未来的架构

• 课件: lecture18
• 观看视频
• 学习笔记：指代消解

3. 论文导读：神经网络自动代码摘要

• 课件: [paper]
• 论文笔记：神经网络自动代码摘要

6. 比赛

阶段 10 前沿论文

1. 论文导读：neural-turing-machines

• 课件: [paper]
• 论文笔记：neural-turing-machines 2 论文导读： 深度强化学习用于对话生成
• 课件: [paper]
• 论文笔记：深度强化学习用于对话生成

3. 图像对话：

• 课件: [paper]
• 论文笔记：图像对话

阶段 12

比赛