ブログ
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 3516 件
#2026-03 764#japanese 587#deep-dive 254#kubernetes 249#culture 236#career 224#ai 217#llm 209#devops 196#2026-04 144#security 141#observability 113#database 110#communication 107#architecture 100#productivity 88#finance 87#mindset 80#ai-papers 79#history 79#it 78#psychology 78#english 75#networking 74#deep-learning 73#gpu 70#linux 70#performance 70#cs-fundamentals 63#ai-agent 61#postgresql 60#rag 59#economy 57#mlops 53#self-improvement 53#python 52#ai-platform 51#food 51#learning 51#travel 51
テキスト生成オープンモデルをサイズ別に選ぶ
オープンなテキスト生成モデルを選ぶとき、サイズは性能の等級ではなく配置の制約です。この記事はオンデバイス向けの小型、GPU1枚に載せる中型、サーバが必要な大型に分け、各区分で実際に確認したモデルのパラメータ、コンテキスト、ライセンスを整理し、MoEのメモリ計算がなぜ違うのか、コンテキスト拡張がなぜ無料ではないのか、カードが要求する実行条件を無視すると何が壊れるのかを説明します。オープンモデルガイドシリーズ第2回です。
2026-08-12 · 11 分で読めます #ai#llm#huggingface#open-source-llm#text-generationライセンスと配備: 類型の読み方と量子化配布物の出所確認
オープンモデルのlicenseフィールドに書かれた短い識別子は目次にすぎず、実際の条件は全文にあります。この記事は2026-08-12に実際に出会ったライセンス類型を整理し、コミュニティライセンスと非商用条件が何を求めるのか、ゲートの掛かったリポジトリが配備パイプラインでなぜ問題になるのか、そしてGGUFのような量子化配布物の出所をどう確認すべきかを説明します。オープンモデルガイドシリーズ最終回の第8回です。
2026-08-12 · 12 分で読めます #ai#llm#huggingface#open-source-llm#licenseコードモデルの選び方: 補完と対話、FIM、ライセンス
コードモデルは、エディタ内でカーソル位置を埋める補完用と、質問に答える対話型という別の製品です。この記事は2026-08-12に確認したオープンなコードモデルのパラメータ、コンテキスト、FIM対応の記載、ライセンスを整理し、ベースモデルに対話をさせるとなぜ失敗するのか、コードモデルでライセンスがなぜ特に慎重を要するのかを説明します。オープンモデルガイドシリーズ第7回です。
2026-08-12 · 12 分で読めます #ai#llm#huggingface#open-source-llm#code-llm音声モデルの選び方: STTとTTSの実践基準
音声モデルはテキストモデルと違い、対応言語、音声長の制約、リアルタイム性、話者分離の要否が先に決まり、その後にモデルが決まります。この記事は2026-08-12に確認したSTTとTTSのオープンモデルのパラメータ、ライセンス、対応言語、音声制約を整理し、リアルタイムという語をどう分解すべきか、カードに書かれた幻覚と同意に関する警告がなぜ設計制約になるのかを説明します。オープンモデルガイドシリーズ第5回です。
2026-08-12 · 12 分で読めます #ai#huggingface#open-source-llm#speech-to-text#text-to-speech韓国語に対応するオープンモデルとトークナイザのコスト
韓国語対応という表記は、その言語を処理するという意味であって上手だという保証ではありません。この記事は2026-08-12に確認した韓国語特化・バイリンガル・多言語のオープンモデルのカード値を整理し、トークナイザが韓国語をどう分割するかがなぜそのままコストとコンテキスト消費になるのか、そしてそれを自分で測る方法を説明します。韓国語モデルで特に分かれるライセンス類型も扱います。オープンモデルガイドシリーズ第4回です。
2026-08-12 · 11 分で読めます #ai#llm#huggingface#open-source-llm#korean-nlpFDEスキルマップ — 8ドメインの最低ライン、実務ライン、確認質問
Forward Deployed Engineer(FDE)に必要なスキルを、Linux、ネットワーク、Kubernetes、データベース、認証・セキュリティ、オブザーバビリティ、クラウド・インフラ、顧客コミュニケーションの8ドメインで地図にします。ドメインごとに、なぜ必要か、履歴書ではなく現場で通用する最低ラインはどこか、実務ラインはどこか、そして自分の位置を測る確認質問を三つずつ付けました。8つ全部を備えた人はいないので、どこが空い
2026-08-12 · 10 分で読めます #career#fde#forward-deployed-engineer#skills#roadmapビジョンとマルチモーダル: 画像理解、OCR、VLMの選び方
ビジョンモデルはひとつのカテゴリではありません。対話型VLM、OCR専用、文書構造化、画像検索用の埋め込みは別物で、互いを代替しません。この記事は2026-08-12に確認した各カテゴリのオープンモデルのカード値を整理し、解像度や複数画像の扱いといった実際の制約、そしてカードが明記する禁止用途も扱います。オープンモデルガイドシリーズ第6回です。
2026-08-12 · 12 分で読めます #ai#huggingface#open-source-llm#vision-language-model#ocrHugging Faceのモデルカードの読み方: 何を信じ、何を疑うか
Hugging Faceのモデルカードで実際に判断材料になる項目は、ライセンス、パラメータ数、コンテキスト長、intended use、limitations、学習データの6つです。この記事は各項目が何を意味し何を隠すのか、ダウンロード数といいね数がなぜ品質指標にならないのか、そしてカードに書かれていない項目をどう扱うべきかを、2026-08-12に実際に確認したモデルページの事例で整理します。オープンモデルガイドシリーズ第1回です。
2026-08-12 · 12 分で読めます #ai#llm#huggingface#open-source-llm#model-card埋め込みとリランカー、RAGで実際に重要なもの
RAGを作るとき埋め込みモデルの選択を左右するのは、リーダーボードの順位ではなく次元、最大入力長、接頭辞の規約、多言語対応の表記、そしてリランカーとの役割分担です。この記事は2026-08-12に確認した埋め込み・リランカーモデルの実際のカード値を整理し、MTEBのスコアが何を語らないのか、日本語や韓国語の文書を扱うときに何を自分で測るべきかを説明します。オープンモデルガイドシリーズ第3回です。
2026-08-12 · 12 分で読めます #ai#llm#huggingface#open-source-llm#embeddingvLLM 内部構造 (5) — プレフィックスキャッシュ、システムプロンプト設計が性能になる理由
vLLMのプレフィックスキャッシュがいつ効いていつ効かないかを、公式設計ドキュメントを基準に整理する。ブロックハッシュが直前のブロックに鎖のように連なる構造、フルに埋まったブロックだけがキャッシュされる理由、プロンプトの先頭に置いたタイムスタンプ一つがキャッシュ全体を無効にする過程、そしてcachesaltまで扱う。vLLM内部構造シリーズ第5回。
2026-08-12 · 12 分で読めます #vllm#prefix-caching#kv-cache#prompt-engineering#llmvLLM 内部構造 (3) — 連続バッチングが GPU を遊ばせない仕組み
静的バッチングがなぜGPUを遊ばせるのか、vLLMのイテレーション単位のスケジューリングがそれをどうなくすのかを整理した。prefillとdecodeの性質の違い、V1の統合スケジューラとトークン予算、chunked prefillがレイテンシと処理量に与える影響を公式ドキュメント基準で確認した。vLLM内部構造シリーズ第3回。
2026-08-12 · 11 分で読めます #vllm#continuous-batching#chunked-prefill#llm#inferencevLLM 内部構造 (4) — スケジューラとプリエンプション、スループットが崩れる地点
vLLMスケジューラが毎ステップ何を決定しているのか、待機キューと実行リストがどう動くのか、KVキャッシュが不足したときに起きるプリエンプション(preemption)がレイテンシと処理量をどう崩すのかを、公式ドキュメントとV1スケジューラソースで確認して整理した。recomputeとswapの違い、fcfsとpriorityポリシーも合わせて扱う。vLLM内部構造シリーズ第4回。
2026-08-12 · 12 分で読めます #vllm#scheduler#preemption#kv-cache#llmvLLM 内部構造 (1) — リクエスト一つがトークンになるまでの全経路
vLLMにリクエストが一つ入ってからトークンが出てくるまでの全経路をたどる。APIサーバー、スケジューラ、KVキャッシュマネージャ、ワーカー、サンプラーがそれぞれ何をしているのか、V1書き換え以降プロセスがどう分かれているのかを公式ドキュメントとソースで確認して整理した。vLLM内部構造シリーズ第1回。
2026-08-12 · 9 分で読めます #vllm#llm#inference#gpu#ai-platformvLLM 内部構造 (7) — デプロイのチューニングとよくある落とし穴、OOM の切り分け順
vLLMのデプロイを実際にチューニングする手順を整理する。gpumemoryutilizationが何を決めるのか、テンソル並列とパイプライン並列をいつ使うのか、量子化とKVキャッシュのデータ型をどう選ぶのか、そしてOOMが起きたときに起動段階と運用段階を分けて診断する手順まで、公式ドキュメントを基準に確認して整理した。vLLM内部構造シリーズ最終回。
2026-08-12 · 16 分で読めます #vllm#gpu#quantization#tensor-parallel#llmvLLM 内部構造 (2) — PagedAttention はなぜ KV キャッシュをページに分けたのか
PagedAttentionがKVキャッシュをブロック単位に分割した理由を、原論文(arXiv:2309.06180)とvLLM公式設計ドキュメントで確認して整理した。連続割り当てが生む内部・外部フラグメンテーション、ブロックテーブルが担う役割、ブロックサイズを大きくしたり小さくしたりする際のトレードオフまで扱う。vLLM内部構造シリーズ第2回。
2026-08-12 · 12 分で読めます #vllm#paged-attention#kv-cache#llm#gpuvLLM 内部構造 (6) — コンテキストウィンドウ、max_model_len、max_tokens 完全整理
コンテキストウィンドウとmaxtokensの違いが紛らわしいなら、この記事一つで整理できる。モデルのコンテキストウィンドウ(構造的な上限)、vLLMのmaxmodellen(エンジン設定)、リクエストごとの生成上限であるmaxtokensとmaxcompletiontokens、そしてバッチの上限であるmaxnumbatchedtokensとmaxnumseqsがそれぞれ何を制限するのかを、比較表と実際のエラーメッセージで整理した。入力
2026-08-12 · 20 分で読めます #vllm#context-window#max-model-len#max-tokens#llm音声認識・合成の技術レポート、何を読むか — WERという一つの数字では見えないもの
音声認識と合成の技術レポート10本を、arXivの原文アブストラクトで直接確認して整理しました。WhisperとOmnilingual ASR、Qwen3-ASR、Open ASR Leaderboard、Seed-TTSとF5-TTS、CosyVoice 2、Qwen3-TTS、Fish Audio S2、Moshi、Qwen2.5-OmniとMOSS-Audioが何を新しく行い、著者がどんな限界を述べたかを読みます。順位ではなく遅延
2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#speech-recognition#text-to-speech画像生成・理解の技術レポート、何を読むか — サンプル画像ではなく設計を読む
画像生成と理解の技術レポート11本を、arXivの原文アブストラクトで直接確認して整理しました。整流フロートランスフォーマーとVAR、Emu3、SANA、Janus-Pro、FLUX.1 Kontext、Qwen-Image系列、Seedream 4.0、Z-ImageとMage-Flow、InternVL3、そして評価側のQwen-Image-Benchまで、何を新しく行い著者がどんな限界を述べたかを読みます。順位は扱いません。領域別
2026-08-12 · 14 分で読めます #ai-papers#paper-review#technical-report#image-generation#diffusion-transformerトークナイザの内部 — 日本語がトークンを多く食う理由とその代価
バイトレベル BPE の仕組みを説明し、Qwen3、DeepSeek-V3、Mixtral の実際のトークナイザファイルをダウンロードして同じ意味の英語と韓国語の文章を直接トークン化して比較します。語彙サイズのトレードオフ、config の vocabsize と実際の語彙数が異なる理由、トークン数がコストと文脈窓に与える影響を整理します。
2026-08-12 · 11 分で読めます #ai-papers#model-internals#tokenizer#bpe#korean-nlp正規化と活性化 — 学習を壊さないために
RMSNorm とプレノルム、SwiGLU がなぜ現在の標準になったのかを config の値で確認し、Qwen3 の QK-Norm や Kimi K2 の QK-Clip のようにアテンションロジットの暴走を止める新しい仕組みを、各レポートが記す数値とともに整理します。安定性のために何を足し、何を引き受けるのかを扱います。
2026-08-12 · 11 分で読めます #ai-papers#model-internals#rmsnorm#swiglu#training-stability