LLMエンジニアリング
トークナイザからRAG評価まで、土台から
중급 · レッスン 13 · ラボ 3
カリキュラム
トークナイザと埋め込み
- トークナイザ — モデルが見ているのは文字ではない reading
- 埋め込み — 意味を座標に変える最も単純な方法 reading
- BPEトークナイザを土台から作る lab
- TF-IDF埋め込みとコサイン検索 lab
- クイズ: トークナイザと埋め込み quiz
プロンプトとコンテキスト
- プロンプトとコンテキスト — 窓は広がったがタダではない reading
- クイズ: プロンプトとコンテキスト quiz
RAGの構造
- RAG — 三つの部品のどこが壊れたかを先に分ける reading
- チャンキング — 検索の単位を決めることが半分だ reading
- RAGパイプラインと評価 lab
- クイズ: RAGの構造 quiz
評価とハルシネーション
- 評価 — 体感ではなく数字で判断する reading
- クイズ: 評価とハルシネーション quiz