タグ: #llama-cpp

← すべての記事

• llama.cppがブラウザに来た — WebGPUバックエンドが16台の実機で測った天井

  UC Santa Cruzのチームが2026年5月に公開したLlamaWebは、llama.cppのWebGPUバックエンドであり、8ベンダーの実機16台でブラウザLLM推論を実測した、これまでで最も広いデータセットを残しました。結果は両面的です。既存のブラウザフレームワーク(WebLLM、Transformers.js)よりメモリを29〜33%少なく使い、デコードのスループットは45〜69%高い一方で、prefillはWebLLMの4

  2026-07-16 · 29 分で読めます #webgpu#llm-inference#llama-cpp#on-device-ai#browser

• ローカルLLM推論最適化 — 量子化からVRAM限界の突破まで

  プライバシーとコスト、そしてビッグテック疲れの中でローカルLLMが再び盛り上がっています。VRAM中心のハードウェア選択、GGUFとAWQの量子化、llama.cppとvLLMとOllamaの比較、KV cacheのメモリ計算、VRAMをスワップとして使う逆転の発想ハックまで、ローカル推論最適化の全体地図を描きます。

  2026-06-12 · 26 分で読めます #llm#inference#quantization#llama-cpp#vllm

• ローカルAI & オンデバイスLLM 2026 完全ガイド — Ollama · LM Studio · Jan · Msty · Open WebUI · GPT4All · AnythingLLM · Faraday 徹底解説

  2026年5月、ローカルAIはもはや「趣味」ではない。M4 Max MacBook ProがLlama 4 Scout 109B MoEを毎秒24トークンで動かす時代だ。Ollama、LM Studio、Jan、MstyのようなデスクトップランタイムがGUI/CLIを統一し、Open WebUI、AnythingLLM、LibreChatがChatGPT級のインターフェースを提供する。バックエンドはllama.cpp、MLX-LM、vL

  2026-05-16 · 28 分で読めます #local-ai#on-device-llm#ollama#lm-studio#jan

• LLM サービング & ローカル推論 2026 — vLLM / llama.cpp / MLX / Ollama / LM Studio / SGLang / TGI 徹底比較 ♪ 聞けます

  2026 年の LLM サービング・推論フレームワークの地図を描く。データセンター陣営(vLLM・SGLang・TGI・Triton・TensorRT-LLM)、ローカル陣営(llama.cpp・MLX・llamafile・Ollama・LM Studio・GPT4All)、新興陣営(KTransformers・MLC LLM・Modular MAX)、そしてクラウドサービング SaaS(Together・Fireworks・Groq・

  2026-05-16 · 34 分で読めます #llm#model-serving#inference#vllm#llama-cpp

• エッジ AI と TinyML 2026 — LiteRT / ExecuTorch / Edge Impulse / Jetson / Coral / Hailo / Sipeed K230 / llama.cpp / Phi-4 徹底ガイド ♪ 聞けます

  2026 年のエッジ AI / TinyML エコシステムをフルスタックで俯瞰 — TFLite Micro が LiteRT へリブランドされ ExecuTorch が GA となって形成された二大標準、Edge Impulse が築いた TinyML クラウドワークフロー、NVIDIA Jetson Orin Nano/NX/Thor/AGX と Coral Dev Board のアクセラレータ対決、イスラエルの Hailo-15/

  2026-05-16 · 44 分で読めます #edge-ai#tinyml#tflite-micro#litert#executorch

• AI 推論エンジン 2026 完全ガイド - vLLM · SGLang · llama.cpp · TGI · TensorRT-LLM · MLX · mistral.rs · DeepSpeed-MII · Aphrodite 徹底解剖

  2026 年の LLM エンジニアリングはもうモデル選定の問題ではなく、エンジン選定の問題になった。vLLM V1、SGLang 0.4、TensorRT-LLM、TGI 3.x、llama.cpp、MLX-LM、mistral.rs、DeepSpeed-MII、Aphrodite、CTranslate2、ExLlamaV3、OpenVINO、AWS Neuron、Triton — 10 以上のエンジンを PagedAttention・

  2026-05-16 · 26 分で読めます #llm-inference#vllm#sglang#llama-cpp#tgi