从零到一搭建经典的机器学习模型和深度学习模型

• 深度学习框架和机器学习库对机器学习模型进行非常高的封装，也使得不是该领域内的算法工程师和爱好者都能够快速训练和部署自己模型，但是对于一直长期从事机器学习相关算法的算法工程师，基础的日常熟练掌握非常重要，故有重新对相关的算法温故,采用pandas、numpy和python三方库(面向对象程序设计方案)实现这些模型

• 从零重写了scikit-learn 关于机器学习的经典算法函数

经典机器学习模型

线性回归(Linear Regression) 🚀 ToDo

逻辑回归(Logistic Regression)

决策树(Decision Tree)

Kmeans

SVM

SVD

PCA

random_forest

AdaBoost

GBDT

XGBoost

LightGBM

CatBoost

HMM

GMM

KNN

LDA

贝叶斯(Bayesian model)

CRF

......

参考文献

Machine_Learning_Code_Implementation

Scikit-learn

Gensim

手动推导经典机器学习模型 阿泽笔记 关于决策树讲的很好

深度学习模型

CNN

RNN

Transformer

Transformer-x

Attention(self-attention)

Seq2Seq

GNN

embeddding method

word2vec

fasttext

node2vec

......

参考文献

PaddlePaddle

Transformes

Pytorch

Tensorflow

best-of-ml-python 深度学习中的 Attention 机制总结与代码实现（2017-2021年）

xmu-xiaoma666/External-Attention-pytorch

Graph Neural Networks for Natural Language Processing: A Survey 一文看尽深度学习中的各种注意力机制（1998-2020年） 深度学习笔记3：手动搭建深度神经网络（DNN）

numpy-ml

PTM(Pretrained Model)

• PTM模型大部分是基于上面基础深度学习网路，通过某种策略，搭建而成

BERT

GPT

Elmo