Skip to content

Commit

Permalink
update
Browse files Browse the repository at this point in the history
  • Loading branch information
@DA-southampton
DA-southampton committed Feb 9, 2022
1 parent 20795ce commit ef0d82b
Show file tree
Hide file tree
Showing 3 changed files with 657 additions and 68 deletions.
75 changes: 7 additions & 68 deletions README.md
View file
Original file line number Diff line number Diff line change
@@ -1,12 +1,10 @@
# 背景介绍

[B站主页-NLP学习之路](https://space.bilibili.com/414678948)
NLP日常工作经验和论文解析，包含：预训练模型，文本表征，文本相似度，文本分类，多模态，知识蒸馏，词向量。

建立这个仓库是为了梳理自然语言处理(NLP)各个方面的知识，提升自己的核心竞争力。我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己的段位！
我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己核心竞争力和自己的段位！

**微信公众号：DASOU

![扫码_搜索联合传播样式-白色版](https://picsfordablog.oss-cn-beijing.aliyuncs.com/2022-01-12-062132.bmp)
微信公众号：DASOU

## 深度学习自然语言处理

Expand All @@ -32,15 +30,11 @@
### Bert-基本知识

1. [FastBERT-CPU推理加速10倍](./深度学习自然语言处理/Bert/FastBert.md)
2. [Bert如何融入知识(一)-百度和清华ERINE](./深度学习自然语言处理/Bert/Bert如何融入知识一-百度和清华ERINE.md)----百分之五十
3. [Bert如何融入知识二-Bert融合知识图谱](./深度学习自然语言处理/Bert/Bert如何融入知识二-Bert融合知识图谱.md)---百分之十
4. [Bert的可视化-Bert每一层都学到了什么](./深度学习自然语言处理/Bert/Bert的可视化-Bert每一层都学到了什么.md)---百分之十
5. [Bert各种后续预训练模型-预训练模型的改进](./深度学习自然语言处理/Bert/Bert各种后续预训练模型-预训练模型的改进.md)----百分之十
6. [RoBERTa：更多更大更强](./深度学习自然语言处理/Bert/RoBERTa.md)
7. [为什么Bert做不好无监督语义匹配](./深度学习自然语言处理/Bert/为什么Bert做不好无监督语义匹配.md)
8. [UniLM:为Bert插上文本生成的翅膀](./深度学习自然语言处理/Bert/UniLM.md)
9. [tBERT-BERT融合主题模型做文本匹配](./深度学习自然语言处理/Bert/tBERT-BERT融合主题模型.md)
10. [XLNET](./深度学习自然语言处理/Bert/XLNET.md)
10. [XLNET模型从零解读](./深度学习自然语言处理/Bert/XLNET.md)
11. [如何在脱敏数据中使用BERT等预训练模型](./深度学习自然语言处理/BERT/如何在脱敏数据中使用BERT等预训练模型.md)

### Bert-知识蒸馏
Expand All @@ -53,6 +47,7 @@
6. [tinybert-全方位蒸馏](./深度学习自然语言处理/模型蒸馏/tinybert-全方位蒸馏.md)
7. [ALBERT：更小更少但并不快](./深度学习自然语言处理/模型蒸馏/ALBERT-更小更少但并不快.md)
8. [BERT知识蒸馏代码解析-如何写好损失函数](./深度学习自然语言处理/模型蒸馏/BERT知识蒸馏代码解析-如何写好损失函数.md)
9. [知识蒸馏综述万字长文](./深度学习自然语言处理/模型蒸馏/知识蒸馏综述万字长文.md)

### 词向量-word embedding

Expand All @@ -78,11 +73,10 @@
### 多模态

1. [多模态之ViLBERT：双流网络，各自为王](./深度学习自然语言处理/多模态/多模态之ViLBERT：双流网络，各自为王.md)
2. [复盘多模态需要解决的6个问题](./深度学习自然语言处理/多模态/复盘多模态需要解决的6个问题.md)
2. [复盘多模态任务落地的六大问题](./深度学习自然语言处理/多模态/复盘多模态需要解决的6个问题.md)
3. [如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务](./深度学习自然语言处理/多模态/如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务.md)
1. [层次分类体系的必要性-多模态讲解系列(1)](./深度学习自然语言处理/多模态/层次分类体系的必要性-多模态讲解系列.md)
2. [文本和图像特征表示模块详解-多模态讲解系列(2)](深度学习自然语言处理/多模态/文本和图像特征表示模块详解-多模态讲解系列.md)
3. [层次体系具体是如何构建的-多模态讲解系列(3)](./深度学习自然语言处理/多模态/层次体系的构建-多模态解析.md ) --待更新
7. [多模态中各种Fusion方式汇总](./深度学习自然语言处理/多模态/多模态中各种Fusion方式汇总.md )


Expand Down Expand Up @@ -125,73 +119,18 @@
### 文本分类

1. [TextCNN论文详细解读](./深度学习自然语言处理/文本分类/CNN文本分类解读.md)
2. [只使用标签名称就可以文本分类.md ](./深度学习自然语言处理/文本分类/只使用标签名称就可以文本分类.md )-相应论文在同一个目录
2. [只使用标签名称就可以文本分类.md ](./深度学习自然语言处理/文本分类/只使用标签名称就可以文本分类.md )
3. [半监督入门思想之伪标签](./深度学习自然语言处理/文本分类/半监督入门思想之伪标签.md)
4. [ACL2020-多任务负监督方式增加CLS表达差异性](./深度学习自然语言处理/文本分类/ACL2020-多任务负监督方式增加CLS表达差异性.md)
5. [Bert在文本分类任务上微调](./深度学习自然语言处理/文本分类/在文本分类上微调Bert.md)
6. [UDA-Unsupervised Data Augmentation for Consistency Training-半监督集大成](./深度学习自然语言处理/文本分类/UDA.md)
7. [LCM-缓解标签不独立以及标注错误的问题](./深度学习自然语言处理/文本分类/LCM-缓解标签不独立以及标注错误的问题.md)
8. [关键词信息如何融入到文本分类任务中](./深度学习自然语言处理/文本分类/关键词信息如何融入到文本分类任务中.md)


### 机器翻译

1. [OpenNMT源代码解读(pytorch版)-baseline操作OpenNMT-py](https://github.com/DA-southampton/NLP_ability/tree/master/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/%E6%9C%BA%E5%99%A8%E7%BF%BB%E8%AF%91/OpenNMT-py)
2. [BPE论文解读](./深度学习自然语言处理/机器翻译/bpe-subword论文的我的阅读总结.md)




## Pytorch

1. [pytorch对text数据的预处理-综述](https://github.com/DA-southampton/NLP_ability/blob/master/Pytorch/pytorch%E5%AF%B9text%E6%95%B0%E6%8D%AE%E7%9A%84%E9%A2%84%E5%A4%84%E7%90%86-%E7%BB%BC%E8%BF%B0.md)
2. [pytorch处理文本数据代码版本1-处理文本相似度数据](https://github.com/DA-southampton/NLP_ability/blob/master/Pytorch/pytorch%E5%A4%84%E7%90%86%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE%E4%BB%A3%E7%A0%81%E7%89%88%E6%9C%AC1-%E5%A4%84%E7%90%86%E6%96%87%E6%9C%AC%E7%9B%B8%E4%BC%BC%E5%BA%A6%E6%95%B0%E6%8D%AE.md)
3. [pytorch处理文本数据代码版本2-处理文本相似度数据](https://github.com/DA-southampton/NLP_ability/blob/master/Pytorch/pytorch%E5%A4%84%E7%90%86%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE%E4%BB%A3%E7%A0%81%E7%89%88%E6%9C%AC2-%E5%A4%84%E7%90%86%E6%96%87%E6%9C%AC%E7%9B%B8%E4%BC%BC%E5%BA%A6%E6%95%B0%E6%8D%AE.md)
4. [Pytorch中mask attention是如何实现的代码版本1-阅读文本相似度模型的小总结](https://github.com/DA-southampton/NLP_ability/blob/master/Pytorch/Pytorch%E4%B8%ADmask%E6%98%AF%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E7%9A%84%E4%BB%A3%E7%A0%81%E7%89%88%E6%9C%AC1-%E9%98%85%E8%AF%BB%E6%96%87%E6%9C%AC%E7%9B%B8%E4%BC%BC%E5%BA%A6%E6%A8%A1%E5%9E%8B.md)
5. [验证集loss上升，准确率却上升该如何理解？](https://www.zhihu.com/question/318399418)

## 机器学习

1. [真实场景如何解决类别不平衡的问题](./机器学习/真实场景如何解决类别不平衡的问题.md)
2. [特征工程-数据探索](./机器学习/工业蒸汽预测/特征工程-数据探索.md)
3. [xgboost全面解析](./机器学习/xgboost/xgboost.md)
4. [xgboost完整训练代码](./机器学习/xgboost/xgboost训练代码.py)
5. [xgboost特征重要程度代码](./机器学习/xgboost/xgboost获得特征重要程度并画图.py)

## 搜索

1. [各种关于搜索的好文章资源总结-看到比较不错的就放上来](https://github.com/DA-southampton/NLP_ability/blob/master/%E6%90%9C%E7%B4%A2/%E6%90%9C%E7%B4%A2%E8%B5%84%E6%BA%90%E6%80%BB%E7%BB%93-%E6%8C%81%E7%BB%AD%E6%9B%B4%E6%96%B0.md)---持续更新
2. [什么是倒排索引](.//搜索/倒排索引基本概念.md)


## 推荐系统

1. [聊一下Wide&Deep](./推荐/WDL/WDl.md)
2. [WDL 在贝壳推荐场景的实践](./推荐/WDL/WDL在贝壳中的应用实践总结.md)
3. [FM模型简单介绍](./推荐/FM.md)
4. [DeepFM模型简单介绍](./推荐/deepfm.md)
5. [各种关于推荐的好文章资源总结-看到比较不错的就放上来](https://github.com/DA-southampton/NLP_ability/blob/master/%E6%8E%A8%E8%8D%90/%E6%8E%A8%E8%8D%90%E8%B5%84%E6%BA%90%E6%9B%B4%E6%96%B0.md)
6. [度学习在推荐系统中的应用](https://mp.weixin.qq.com/s?__biz=MzI1NjM1ODEyMg==&mid=2247484656&idx=1&sn=35845ab0839807a314d6e500d9384bf1&chksm=ea26a775dd512e63ec800bf4f0d162e421531776ca86c0147ae7711b2541bfe87ecfb6104169&scene=21#wechat_redirect)----这个作者写的非常好
7. [推荐系统特征构建](https://zhuanlan.zhihu.com/p/221783604)
8. [推荐系统特征工程的万字理论](https://cloud.tencent.com/developer/article/1574246)
9. [新商品类别embedding如何动态更新-增量更新embedding](https://zhuanlan.zhihu.com/p/77789278)

## 公众号技术问题答疑汇总

1. [20201210一周|技术问题答疑汇总](./深度学习自然语言处理/其他/20201210一周|技术问题答疑汇总.md)

## 模型部署

[算法工程师常说的【处理数据】究竟是在做什么](./模型部署/算法工程师常说的[处理数据]究竟是在做什么.md)

### 1.Kafka

### 2.Docker

### 3.Elasticsearch

### 4.Flask+nginx

### 5. Grpc

### 6. TensorRT
Binary file modified 深度学习自然语言处理/Transformer/.DS_Store
View file
Binary file not shown.
Loading

0 comments on commit ef0d82b

Please sign in to comment.