Học

Software eating the world. AI eating software. And transformers are eating AI

Liều thuốc đắng trong AI

09/2022-01/2023

• Hoàn thành 10714 Deep Learning Systems, tự xây dựng thư viện học sâu kim

01/2023-xxx

• cs25 Transformers United V2
• cs324 Advances in Foundation Models
• cs685 Advanced Natural Language Processing

AI / Deep learning phát triển quá nhanh. Ý tưởng sau 6 tháng không thực hiện đã trở nên lạc hậu. Big foundation models + fine-tune trở thành xu hướng tất yếu. Cần nắm được xu hướng này nhất là Large Language Model.

Làm

1/ Symato mô hình ngôn ngữ thuần Việt, hiệu năng cao

• https://github.com/telexyz/symato
• https://github.com/BlinkDL/RWKV-LM
• bert-one-day-one-gpu
• https://babylm.github.io

2/ Bộ gõ tiếng Việt thông minh

• https://github.com/telexyz/bon-sublime

3/ Tối ưu hóa xử lý ngữ liệu tiếng Việt

• https://github.com/telexyz/bon
• https://github.com/telexyz/engine