タグ: #fine-tuning

← すべての記事

• 100倍安いという主張は課題を狭めたときにだけ真です — 検証と損益分岐

  2026年8月に公開されたある事例記事は、40億パラメータ級のオープンモデルを強化学習で後学習し、検索課題でフロンティアモデルと肩を並べながらリクエストあたりのコストを桁単位で下げたと述べます。この記事はその主張を紹介するのではなく検証します。原文で実際に確認できる数字と確認できない数字を区別し、狭い課題でだけ成立する条件が何かを整理し、後学習がルーティングより有利になる損益分岐を自分で計算できるコードを付けました。

  2026-08-09 · 14 分で読めます #llm#cost#fine-tuning#retrieval#open-models

• 500ドルでファインチューニングした9Bがフロンティアに勝った条件 — そしてその条件がどれだけ狭いか

  2026年7月28日、Hacker Newsで336点を獲得した記事があります。FermisenseがQwen3.5-9BをGRPOで約500ドル分のGPU時間だけ学習させ、同じツールと同じ採点器を使った五つのフロンティア構成を電子商取引カタログ検収の課題で上回ったという報告です。達成可能スコアの87.3%対、最高フロンティア76.9%。1,000件の処理コストは約0.50ドル対、19ドルから172ドルでした。この記事はその結果を否定も

  2026-07-31 · 19 分で読めます #ai#llm#fine-tuning#reinforcement-learning#inference-cost

• RAG・ファインチューニング・ロングコンテキスト — 自分の問題には何を使うべきか：論文が実際に測ったもの、そして誰も測っていないもの ♪ 聞けます

  LLMアーキテクチャで最も頻繁に出る質問ですが、大半の答えは出典のない意思決定ツリーです。本稿は測定されたものだけで答えます。ファインチューニングが新しい知識の注入に失敗することは複数の論文で繰り返し測定されており(Ovadiaら、Gekhmanら)、正反対に見える農業のケーススタディは実は別の介入(教師なし継続事前学習 vs 教師ありQ&Aチューニング)を測ったものなので、矛盾ではありません。ロングコンテキストは位置・長さ・語彙という

  2026-07-17 · 43 分で読めます #rag#llm#fine-tuning#long-context#ai

• LoRAのrankを変えたら学習率も変えるべきか — μA(2026)が分けた二つのレジーム、そしてその測定の限界 ♪ 聞けます

  LoRAでrankを変えると最適学習率を探し直す必要があるという通念と、「1/rスケーリングを使えば学習率はrankと無関係になる」という通念が、実務では同時に流通しています。2026年2月にarXivへ投稿されたμA(Maximal-Update Adaptation)論文は、この二つがどちらも正しいと言います — ただし、どのα規約とどの初期化を使うかによって。本稿では、μAが導いた二つのレジーム(ηがrankの-1/2乗に比例する

  2026-07-16 · 33 分で読めます #llm#lora#fine-tuning#peft#training

• AIエンジニアになる方法 完全ガイド2026 — LLM・RAG・エージェント・Evals・キャリアロードマップ ♪ 聞けます

  AIエンジニアになるための2026年完全ガイド。MLエンジニアとの違いから、LLM API、プロンプトエンジニアリング、RAG設計、エージェント構築、LoRAファインチューニング、vLLMサービング、Evals中心の開発、フレームワークとベクトルDBの選び方、コスト最適化、ポートフォリオ5選、日本・韓国・グローバルの採用市場と面接対策まで一気に整理します。

  2026-07-02 · 44 分で読めます #ai-engineer#career#llm#rag#ai-agents

• Vision LLM の学習法 — 入力と出力をどう教えるか

  ビジョン言語モデルは整列事前学習からインストラクションファインチューニングまで段階的に学習されます。ビジョンエンコーダの凍結戦略、データ構成、入力フォーマットと出力形式、損失計算まで、何をどう教えるかを学習パイプラインの観点で整理します。

  2026-06-26 · 32 分で読めます #mlops#vision-language-model#multimodal#training#instruction-tuning

• Vision モデル開発・fine-tuning 完全ガイド 2026 — CNN、ViT、DETR、SAM 2、VLM の実戦 decision tree

  2026 年の vision モデル開発はもう ResNet を 1 行で持ってきて学習する時代ではない。CNN、ViT、DETR、SAM 2、そして LLaVA・Qwen-VL・Gemini Vision・Claude Vision のような VLM まで — 同じ写真 1 枚に対しても、どのモデルを使うかで cost が 100 倍、accuracy が 30 pp 変わる。この記事は classification・detectio

  2026-05-14 · 26 分で読めます #computer-vision#vision-model#cnn#vit#detr

• MLX 徹底解剖 — Apple Silicon 専用 ML フレームワーク、統合メモリ・遅延グラフ・Mac ネイティブのワークフロー (2026 ハンズオン)

  MLX は、PyTorch と JAX を作った Apple の ML チームが、今度は Apple Silicon だけのために書き直した配列フレームワークだ。中核となる命題はひとつ — M シリーズの GPU は CPU と同じ RAM を使う、つまりホストとデバイスの間に複製がない (統合メモリ)。本記事は、その統合メモリ命題、遅延 (lazy) 計算グラフ、mlx-lm・mlx-vlm・mlx-data サブパッケージ、Pyth

  2026-05-14 · 28 分で読めます #mlx#apple-silicon#ml-framework#unified-memory#metal

• UnslothでLLMファインチューニング完全ガイド2025：QLoRA、4bit量子化、2倍高速学習

  UnslothでのLLMファインチューニングの全て！QLoRA/LoRA原理、4bit量子化(bitsandbytes)、Unsloth 2倍速の秘密、Llama 3/Mistral/Qwenファインチューニング、データ準備、学習設定、VRAM最適化、GGUF/GPTQ変換、デプロイまで。

  2026-03-25 · 23 分で読めます #unsloth#llm#fine-tuning#qlora#lora

• LLMファインチューニング完全ガイド：LoRA、QLoRA、RLHF、DPOをマスターする

  LLMファインチューニングのすべての手法を網羅した完全ガイド。フルファインチューニングからLoRA、QLoRA、RLHF、DPO、インストラクションチューニングまで、HuggingFace PEFTと実践的なサンプルを使ってすべてをマスターする。

  2026-03-17 · 30 分で読めます #llm#fine-tuning#lora#qlora#rlhf

• オープンソースLLM全体像ガイド：2026年のモデル・ツール・デプロイ戦略

  2026年のオープンソースLLMエコシステムを網羅したガイドです。主要モデルファミリー（Llama、Mistral、Gemma、Qwen、DeepSeek）、ローカル推論ツール（Ollama、llama.cpp、vLLM）、ファインチューニング手法（LoRA、QLoRA）、そして独自LLMを運用するための実践的なデプロイ戦略を解説します。

  2026-03-17 · 29 分で読めます #open-source#llm#llama#mistral#gemma

• LLM Fine-tuning実践ガイド：LoRA、QLoRA、PEFTによる効率的モデル適応

  LLM Fine-tuningの理論と実践を解説します。LoRAの低ランク分解原理、QLoRAの4ビット量子化技術、PEFTライブラリの活用法、データセット構成戦略、ハイパーパラメータチューニングまで、プロダクションレベルのモデル適応パイプラインを構築します。

  2026-03-13 · 15 分で読めます #llm#fine-tuning#lora#qlora#peft

• LLMファインチューニング実践ガイド：LoRA・QLoRA・PEFTによる効率的ドメイン適応

  LoRA・QLoRA・PEFTを使った効率的なドメイン適応のためのLLMファインチューニング実践ガイド。

  2026-03-11 · 20 分で読めます #llm#fine-tuning#lora#qlora#peft

• LLMファインチューニング実践 — LoRA、QLoRA、PEFTで自分だけのモデルを作る

  LLMファインチューニングの実践ガイド。LoRAの数学的原理からQLoRAによるコンシューマーGPUでの大規模モデル学習、PEFTライブラリの活用法まで、コード例を交えて詳しく解説します。

  2026-03-02 · 9 分で読めます #llm#fine-tuning#lora#qlora#peft

• LoRA: 大規模言語モデルの効率的ファインチューニング論文分析

  LoRA（Low-Rank Adaptation）論文の核心原理を数学的に分析し、HuggingFace PEFTを活用した実践的な適用方法をまとめる。

  2026-03-01 · 26 分で読めます #ai-papers#lora#fine-tuning#llm#peft

• BERT論文完全分析：双方向TransformerがNLPの構図を変えた方法 ♪ 聞けます

  GoogleのBERT論文を深層分析する。Masked Language Model（MLM）とNext Sentence Prediction（NSP）による双方向事前学習、Fine-tuning戦略、そして11個のNLPベンチマークを席巻したアーキテクチャの核心原理を数式とコード例で整理する。

  2026-03-01 · 41 分で読めます #bert#nlp#transformer#pre-training#fine-tuning