Материалы курса по компьютерной лингвистике (Natural Language Processing course materials)

Jupyter-ноутбуки курса

Вводная часть (1 модуль)

• Regexps
• Ngrams
• Lexical disambiguation
• Language classification
• Basic LLM usage

Основная часть

1. Предобработка текста (Text preprocessing)
   Токенизация, лемматизация, стемминг, pymorphy, mystem, regex, razdel, deduplication, lsh, minhash.
2. Классификация текста (мешок слов) (Bag-of-words classification)
   TFIDF, CountVectorizer, LogReg, KNN, DecisionTrees, Naive Bayes, RandomForest, косинусная близость, тональность текста
3. Поиск и исправление опечаток (Spellchecking)
   Алгоритм Норвига, расстояние Левенштейна, символьные нграммы, SymSpell.
4. Базовое языковое моделирование (Basic Language Modelling)
   Вероятность слова, Ngram language model, перплексия, генерация текста, beam search.
5. Векторные представления слов (Word embeddings) (word2vec, fastext)
   cbow, skip-gram, negative sampling
6. Сверточные нейронные сети (CNN)
   CNN.
7. RNN и извлечение именованных сущностей (Named Entity Recognition)
   LSTM, GRU, Bidirectional RNN, IOB кодировка, sequence labelling.
8. BERT
   masked language modelling, positional encoding
9. GPT
   autoregressive language modelling, self-attention
10. Машинный перевод (Machine Translation)
    cross attention, encoder-decoder model, bleu score
11. Instruct fine-tuning. Quantization, PEFT
12. Reinforcement learning
13. Multimodality (vision) (CLIP SigLIP, VQGAN)
14. Multimodality (vision) (nanovlm, vqgan + LLM)
15. Multimodality (audio)