Skip to content

Latest commit

 

History

10 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 

Repository files navigation

🧠 LLM Study — 대규모 언어모델 시대의 학습 자료 모음 (2023–2026)

Last updated License: CC BY 4.0

트랜스포머부터 GPT·Claude, 에이전트·MCP·RAG까지 — LLM 시대를 스스로 공부하는 분들께 도움이 되고자 직접 읽고, 보고, 검증한 자료만 모았습니다. 이 저장소의 모든 링크는 실제로 열어 보고 살아있는 것만 담았습니다. (죽은 링크·추측 URL 없음)

  • 관리: 데이터가답이다(동원킴) · @melocream
  • 만든 사람이 만드는 것: marblo.app — AI-native 팀을 위한 오케스트레이션 컨트롤 플레인
  • 원칙: 권위 있는 1차 출처 우선, 최신(2024–2026) 자료 우선, 한 줄 코멘트로 "왜 봐야 하는지"만 남깁니다.

English summary

An opinionated Korean-first, source-verified map for learning LLMs: foundations, building models, agents and MCP, RAG, evaluation, observability, and staying current. Start with the four-stage roadmap below; every resource is labelled with a prerequisite level and a first-pass time (or 참고용 for reference material you dip into as needed). Contributions are welcome in Korean or English.

🗺️ 학습 로드맵

자료가 많은 것보다 다음에 무엇을 할지 아는 것이 중요합니다. 아래 순서대로 한 단계씩 끝내고, 관심 분야의 섹션으로 확장하세요.

단계 목표 먼저 볼 자료 권장 기간
1. 작동 원리 잡기 토큰·어텐션·다음 토큰 예측을 말로 설명한다 3Blue1Brown, Illustrated Transformer 1–2주
2. 직접 만들어 보기 작은 언어 모델을 학습·평가한다 Karpathy Zero to Hero, CS336 3–6주
3. 제품으로 연결하기 구조화 출력·RAG·툴 호출을 조합한다 에이전트·MCP, RAG 2–4주
4. 운영 가능한 시스템 만들기 평가·관측·서빙·비용·보안을 함께 설계한다 Evals·관측, 로컬 실행, 보안, 비용 지속

[입문]·[중급]·[심화]사전지식 기준, 시간은 첫 회독·1회 실습의 대략적 투자량입니다. 참고용 은 완주 개념이 없어 필요할 때 찾아보는 채널·레퍼런스 문서·라이브러리 문서입니다.

목차


1. 🏗️ LLM 발전사 · 기초

트랜스포머 → GPT → instruction tuning → 현재까지, "안에서 무슨 일이 벌어지는가"를 그림과 애니메이션으로 이해하기.

2. 🎓 강의 (Courses)

밑바닥부터 직접 구현하며 배우는 정통 커리큘럼 위주.

3. 🤖 에이전트 · 툴콜 · MCP

"모델이 스스로 도구를 쓰게" 만드는 패턴과, 그 표준이 된 MCP. MCP로 뛰기 전에 구조화 출력·함수 호출부터 계단을 밟으세요.

구조화 출력 · 함수 호출 (먼저)

MCP · 에이전트 패턴

4. 💻 코딩 에이전트

터미널에서 사는 코딩 에이전트들 — 여러 벤더의 공식 문서와 실전 베스트 프랙티스. (마블로처럼 이기종 CLI를 섞어 쓰는 흐름과 맞닿아 있습니다.)

5. ✍️ 프롬프트 · 컨텍스트 엔지니어링

잘 물어보는 법(Prompt)에서, 무엇을 컨텍스트 윈도우에 넣을지 설계하는 법(Context)으로.

6. 📚 RAG (검색 증강 생성)

모델의 지식 한계를 외부 검색으로 메우는 파이프라인 설계. 첫 결정은 파이프라인이 아니라 "어떤 임베딩 모델을 쓰나"입니다.

임베딩 · 벡터 검색 기초 (먼저)

RAG 파이프라인

7. 🎯 파인튜닝 · RLHF · 정렬 (Alignment)

사전학습 모델을 "사람이 원하는 대로" 다듬는 방법 — SFT, RLHF, DPO, LoRA.

8. 📄 핵심 논문 (Must-Read Papers)

LLM 시대를 만든 논문들. 모든 arXiv 링크는 abs 페이지를 직접 열어 논문 제목이 표기와 일치하는지 대조했습니다 (ID만 그럴듯하게 적힌 항목이 없도록).

랜드마크 (2017–2023)

2024–2026 프런티어 — MoE · 롱컨텍스트 · 추론 · SSM

지금 모델들이 왜 이렇게 생겼는지를 설명하는 네 갈래. 위 랜드마크를 읽은 뒤에 보세요.

MoE (Mixture of Experts) — 파라미터는 키우되 계산은 아끼기

  • [심화 · 2시간] Mixtral of Experts (2024) · sparse MoE가 성능과 추론 비용을 어떻게 함께 다루는지 보여 주는 실전형 기술 보고서
  • [심화 · 2.5시간] DeepSeek-V3 Technical Report (2024) · 671B MoE를 실제로 학습시킨 과정을 라우팅·로드밸런싱·학습 비용까지 공개한 보고서

롱컨텍스트 — 컨텍스트 윈도우는 어떻게 늘어났고, 늘어난 만큼 쓸 수 있나

  • [심화 · 2시간] LongRoPE (2024) · 위치 임베딩 확장으로 롱컨텍스트를 만드는 대표 접근; 긴 문서·에이전트 설계 전에 읽기 좋음
  • [심화 · 2시간] Gemini 1.5 (2024) · 100만 토큰 컨텍스트를 제품 규모로 끌어올린 기술 보고서
  • [심화 · 1.5시간] RULER: What's the Real Context Size of Your Long-Context LMs? (2024) · "광고된 컨텍스트 길이 ≠ 실제로 쓸 수 있는 길이"를 벤치마크로 보여 주는 논문; 롱컨텍스트를 믿기 전에 읽기

Test-time compute · 추론 모델 — 학습이 아니라 추론에 연산을 더 쓰기

  • [심화 · 2시간] Scaling LLM Test-Time Compute Optimally (2024) · 추론 시점에 연산을 더 쓰는 편이 파라미터를 키우는 것보다 유리해지는 조건을 정면으로 분석
  • [심화 · 2시간] DeepSeek-R1 (2025) · open reasoning model의 학습·증류 설계를 공개해 추론 모델을 실험하려는 사람에게 유용

SSM — 어텐션 바깥의 계보

9. ✅ 평가 · Evals · 관측

만든 모델·프롬프트·에이전트가 정말 좋아졌는지 재현 가능하게 확인하고, 여러 개를 돌릴 때 어디서 터졌는지 보이게 만드는 방법.

평가 · Evals

  • [중급 · 참고용] EleutherAI LM Evaluation Harness · 공개 모델 벤치마크를 같은 조건에서 재현하는 가장 널리 쓰이는 평가 도구
  • [입문 · 참고용] promptfoo · 프롬프트·RAG·에이전트를 assertion과 red-team 케이스로 CI에서 검증하는 실무 도구
  • [입문 · 20분] LMSYS Chatbot Arena · 사람 선호 기반 리더보드가 모델 선택에 무엇을 말하고 무엇을 말하지 않는지 배운다
  • [중급 · 참고용] SWE-bench · 실제 GitHub 이슈 해결 능력으로 코딩 에이전트를 평가하는 대표 벤치마크

관측 · 트레이싱 (에이전트를 여러 개 운영하려면)

에이전트가 여러 개면 "어디서 왜 터졌는지"가 안 보이는 순간 운영이 무너집니다. 4단계 운영의 필수 축.

  • [입문 · 참고용] Langfuse · LLM·에이전트 트레이싱/평가 오픈소스 — 호출·비용·지연·프롬프트를 추적
  • [입문 · 참고용] LangSmith Observability · 체인·에이전트 실행을 추적·디버깅·평가하는 관측 플랫폼
  • [중급 · 40분] OpenTelemetry for Generative AI · GenAI 시맨틱 컨벤션 — 벤더 중립 트레이싱 표준으로 관측을 통일

10. 🖥️ 로컬 실행 · 서빙 · 양자화

API 호출을 넘어 내 컴퓨터와 서버에서 모델을 돌리고, 속도·메모리·품질을 교환하는 법.

  • [입문 · 30분] Ollama · 가장 짧은 경로로 로컬 모델을 내려받아 API로 실행하는 시작점
  • [중급 · 참고용] vLLM · PagedAttention과 continuous batching을 포함한 고성능 LLM 서빙의 표준 레퍼런스
  • [중급 · 참고용] llama.cpp · CPU·Apple Silicon에서도 GGUF 양자화 모델을 이해하고 실행하는 핵심 프로젝트
  • [중급 · 45분] Hugging Face — Bitsandbytes quantization · 8-bit/4-bit 양자화의 트레이드오프를 코드로 확인한다

11. 🛡️ LLM 보안

도구를 쓰고 데이터를 읽는 모델에서는 프롬프트 인젝션을 포함한 보안 설계가 기능의 일부입니다.

12. 💸 비용 · 토큰 경제학

좋은 제품은 품질뿐 아니라 토큰·지연 시간·캐시·모델 선택 비용을 함께 관리합니다. (1번 토크나이저를 먼저 보면 감이 옵니다.)

13. 🖼️ 멀티모달

텍스트만 다루던 LLM이 이미지·음성·문서를 이해하고 생성하는 흐름. 로드맵 3단계 "제품으로 연결하기"의 확장 — 이미지 입력이 필요한 제품을 만들 때 봅니다.

14. 🇰🇷 한국어 자료

한국어로 깊게 파고들 수 있는, 지금도 살아있는 자료만.

🧭 시작하기 — 데이터가 답이다 (이 저장소 관리자)

이 저장소를 관리하는 데이터가 답이다(동원킴, @melocream) 의 한국어 시작 자료. Claude Code·마블로를 처음 켜는 분들께.

15. 📡 최신 따라가기

큐레이션 레포는 낡습니다. 이 리스트도 6개월 뒤엔 낡아요 — 그래서 "무엇을 구독해 스스로 갱신할지"를 남깁니다.

  • [입문 · 참고용] Latent Space · 엔지니어 관점에서 LLM 실무·제품 흐름을 다루는 뉴스레터·팟캐스트
  • [입문 · 참고용] The Batch — DeepLearning.AI · Andrew Ng 팀이 매주 정리하는 AI 뉴스·해설 (균형 잡힌 개요)
  • [입문 · 참고용] Import AI — Jack Clark · 정책·연구·프런티어를 짚는, 업계가 읽는 주간 뉴스레터
  • [입문 · 참고용] Hugging Face — Daily Papers · 매일 화제 논문을 커뮤니티 투표로 추리는 페이지 (논문 트래킹의 시작점)

📁 향후 저장소 구조

현재는 README를 검증된 인덱스로 유지합니다. 노트·실습이 실제로 쌓일 때만 아래 구조를 만듭니다.

확장 예정 구조 보기
01-foundations/        # 개념 노트와 시각화
02-courses/            # 강의 수강 노트와 실습
03-agents-mcp/         # 툴콜·MCP 실험
06-rag/                # 검색 증강 생성 실습
08-papers/             # 논문 요약

🔗 잘못된 링크나 추가하면 좋을 자료가 있으면 이슈/PR 환영합니다. 기여 방법은 CONTRIBUTING.md, 이용 조건은 CC BY 4.0을 참고하세요. Maintained by 데이터가답이다(동원킴) · @melocream · Built with marblo.app

About

LLM/ML 스터디·지식공유 큐레이션 — 검증된 강의·논문·자료 링크 (by @melocream · marblo.app)

Topics

Resources

Contributing

Stars

55 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors