CC6204 Deep Learning

Curso introductorio (en español) al área de aprendizaje basado en redes neuronales profundas, comúnmente conocida como Deep Learning. Durante el curso aprenderán la teoría detrás de los modelos de Deep Learning, su funcionamiento y usos posibles. Serán capaces de construir y entrenar modelos para resolver problemas reales.

• Profesor: Jorge Pérez
• Auxiliares: Gabriel Chaperon, Ho Jin Kang, Juan-Pablo Silva, Mauricio Romero, Jesús Pérez-Martín
• Versiones anteriores del curso: Otoño 2018, Primavera 2019

Primavera 2020

• Calendario del curso
• YouTube playlist
• Tareas

Requerimientos

• Una cuenta de Google para usar Google Collaboratory, o
• Tener instalados los siguientes paquetes de Python:
  1. PyTorch
  2. Numpy
  3. Jupyter Notebook

Organización del Curso

1. Fundamentos

Introducción, IA vs ML vs DL, ¿Por qué DL ahora? (video)

1.1. Redes neuronales modernas

• Perceptrón, funciones de activación, y representación matricial (video)
• UAT, Redes Feed-Forward, y función de salida (softmax) (video)
• Descenso de Gradiente para encontrar los parámetros de una red (video)
• Grafos de computación y el algoritmo de BackPropagation (video1, video2)
• Tensores, Notación de Einstein, y Regla de la Cadena Tensorial (video)
• Entropía Cruzada y Backpropagation a mano con Tensores (video)
• Aspectos prácticos de entrenamiento y Red FF a mano en pytorch (video)

Readings: Chapter 2. Lineal Algebra, Chapter 3. Probability and Information Theory, Chapter 6. Deep Feedforward Networks

1.2. Inicialización, Regularización y Optimización

• Generalización, Test-Dev-Train set y Regularización (video)
• Ensemble, Dropout, y Desvanecimiento de Gradiente (video)
• Inicialización de parámetros y Normalización (video)
• Algoritmos de Optimización, SGD con Momentum, RMSProp, Adam (video)

Readings: Chapter 7. Regularization for Deep Learning, Chapter 8. Optimization for Training DeepModels, Chapter 11. Practical Methodology

2. Redes Neuronales Convolucionales (CNN)

• Introducción a Redes Convolucionales (video)
• Arquitecturas más conocidas: AlexNet, VGG, GoogLeNet, ResNet, DenseNet (video1, video2, video3)

Readings: Chapter 9. Convolutional Networks, Chapter 12. Applications

3. Redes Neuronales Recurrentes (RNN)

• Introducción a Redes Recurrentes (video)
• Arquitectura de Redes Recurrentes (video)
• Auto-regresión, Language Modelling, y Arquitecturas Seq-to-Seq (video)
• RNNs con Compuertas y Celdas de Memoria: GRU y LSTM (video)

Readings: Chapter 10. Sequence Modeling: Recurrentand Recursive Nets, Chapter 12. Applications

4. Tópicos avanzados

• Atención Neuronal (video)
• Transformers (video)
• Variational Autoencoders
• Generative Adversarial Networks
• Neural Turing Machine (NeuralTM)
• Differentiable Neural Computers (DNC)

Readings: Chapter 14. Autoencoders, Chapter 20. Deep Generative Models

Libros

No hay ningún libro de texto obligatorio para el curso. Algunas conferencias incluirán lecturas sugeridas de "Deep Learning" de Ian Goodfellow, Yoshua Bengio, and Aaron Courville; sin embargo, no es necesario comprar una copia, ya que está disponible de forma gratuita en línea.

1. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville (bibliografía fundamental del curso)
2. Dive into Deep Learning by Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola
3. Deep Learning for Vision Systems by Mohamed Elgendy
4. Probabilistic and Statistical Models for Outlier Detection by Charu Aggarwal
5. Speech and Language Processing by Daniel Jurafsky and James Martin
6. Notes on Deep Learning for NLP by Antoine J.-P. Tixier
7. AutoML: Methods, Systems, Challenges edited by Frank Hutter, Lars Kotthoff, and Joaquin Vanschoren

Tutoriales

1. Quickstart tutorial numpy
2. DeepLearning con PyTorch en 60 minutos

Otros Cursos de DL

1. Introduction to Deep Learning
2. Deep learning course on Coursera by Andrew Ng
3. CS231n course by Stanford University
4. Courses by fast.ai

Videos

1. Visualizing and Understanding Recurrent Networks
2. More on Transformers: BERT and Friends by Jorge Pérez
3. Atención neuronal y el transformer by Jorge Pérez

Otras Fuentes

1. How To Improve Deep Learning Performance
2. An Overview of ResNet and its Variants
3. CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more
4. Understanding LSTM Networks
5. Attention Is All You Need
6. Attention is all you need explained
7. BERT exaplained