タグ: #tiny-models
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 5 件
#tiny-models タグの記事は5件で、最新の記事は2026-08-24に公開されました。
よく一緒に付くタグ: #ai 5 #pytorch 5 #multimodal 2 #transformer 2 #captioning 1
過去90日間によく読まれた記事:
みんなのためのAI 第6回 — 111万パラメータの拡散モデルで単語から数字を描く
"zero" と書けば0を描く条件付き拡散モデルを111万パラメータで作りました。ノイズを混ぜる forward は数式1行、復元する reverse はその1行を400回逆にたどるだけです。第5回で L1 損失が色を褪せさせた問題を拡散がどう回避するのか、そしてなぜモデルがノイズを予測するよう学習されるのかを、実際の生成結果で確認します。
2026-08-24 · 15 分で読めます #ai#diffusion#ddpm#generative#pytorchみんなのためのAI 第5回 — 47万パラメータの U-Net で白黒写真に色をつける、そしてなぜ色が褪せたのか
シリーズ最小の47万パラメータ U-Net で CIFAR-10 の白黒画像をカラーに復元しました。形は正確に保たれましたが色が目に見えて褪せています。これはモデルの容量の問題ではなく L1 損失を選んだ結果です。skip connection が何を運ぶのか、そして回帰損失がなぜ彩度を殺すのかを実際の結果画像で確認します。
2026-08-23 · 14 分で読めます #ai#computer-vision#unet#colorization#pytorchみんなのためのAI 第4回 — 137万パラメータで画像に文をつける、そして第3回のバグがここになかった理由
CNN エンコーダとトランスフォーマーデコーダをつないで、Fashion-MNIST の画像にキャプションをつけるモデルを作りました。137万パラメータ、10分の学習でラベル的中率91%です。エンコーダ・デコーダ構造で cross-attention が何をするのか、そして第3回で正解率を7.5%に落とした EOS バグがなぜこのコードになかったのかを、2つの関数を並べて確認します。
2026-08-22 · 12 分で読めます #ai#captioning#multimodal#transformer#pytorchみんなのためのAI 第3回 — 損失0.0017なのに正解率7.5%、犯人はパディング1マスだった
画像と質問を一緒に受け取って答える VQA モデルを148万パラメータで作りました。学習損失は0.0017まで落ちたのに正解率は7.5%。ランダムより悪い数値です。原因はモデルではなく正解を作るコード1行で、直したら99.5%になりました。なぜ低い損失が良いモデルを保証しないのか、その罠をどう見抜くのかを実際の出力で確認します。
2026-08-21 · 14 分で読めます #ai#vqa#multimodal#debugging#pytorchみんなのためのAI 第1回 — 1600万パラメータの言語モデルを15分でゼロから学習させる
GPU 1枚で言語モデルをゼロから学習させます。TinyStories データセットと1600万パラメータのデコーダ専用トランスフォーマーで、15分で読める英語の童話を生成しました。因果マスクがなぜ必要か、重み共有が何を節約するのか、perplexity 8 が実際にどんな文章を意味するのかを、実際の学習ログと生成結果で確認します。RTX 3090 実測。
2026-08-19 · 15 分で読めます #ai#llm#transformer#pytorch#hands-on