LLM 엔지니어링
토크나이저와 임베딩, 프롬프트와 컨텍스트, RAG 구조, 평가와 환각을 다룹니다. 모델을 내려받지 않습니다. python3 와 numpy 만으로 BPE 를 바닥부터 구현하고 TF-IDF 로 검색기를 만들어 Recall 과 MRR 을 직접 계산합니다. GPU 도 인터넷도 없이 원리를 손으로 확인하는 코스입니다.
중급 · 레슨 13 · 실습 3
커리큘럼
토크나이저와 임베딩
- 토크나이저 — 모델이 보는 것은 글자가 아니다 reading
- 임베딩 — 의미를 좌표로 바꾸는 가장 단순한 방법 reading
- BPE 토크나이저 바닥부터 만들기 lab
- TF-IDF 임베딩과 코사인 검색 lab
- 퀴즈: 토크나이저와 임베딩 quiz
프롬프트와 컨텍스트
- 프롬프트와 컨텍스트 — 창은 넓어졌지만 공짜는 아니다 reading
- 퀴즈: 프롬프트와 컨텍스트 quiz
RAG 구조
- RAG — 세 부품 중 어디가 고장 났는지 먼저 가른다 reading
- 청킹 — 검색 단위를 정하는 일이 절반이다 reading
- RAG 파이프라인과 평가 lab
- 퀴즈: RAG 구조 quiz
평가와 환각
- 평가 — 체감이 아니라 숫자로 판단하기 reading
- 퀴즈: 평가와 환각 quiz