タグ: #mamba

← すべての記事

• LLM ランドマーク論文ロードマップ 2026 - Transformer / Scaling Laws / Flash Attention / Mamba / DeepSeek-R1 / Titans 徹底解説

  2017年の Attention Is All You Need から 2026年の Titans と DeepSeek-R1 まで、LLM 時代を作った 50 篇超のランドマーク論文をテーマ別に整理する。Transformer、BERT、GPT 1-3、Scaling Laws、Chinchilla、InstructGPT、PaLM、FlashAttention 1-3、LLaMA 1-4、GPT-4、Mistral と Mixtra

  2026-05-16 · 31 分で読めます #llm-papers#transformer#scaling-laws#flash-attention#mamba

• 基盤モデルのアーキテクチャ 2026 — Transformer の次へ / Mamba 2 / Hyena / RWKV / RetNet / Griffin / Jamba / xLSTM / TTT / DiT / MoE / Flash Attention 3 徹底ガイド

  2026 年の基盤モデル界隈はもはや Transformer 一色ではない。Vaswani 2017 「Attention is All You Need」は今も標準だが、その隣に Mamba/Mamba 2 のような状態空間モデル、RWKV/RetNet/Griffin の線形 RNN 復活組、AI21 Jamba と Falcon Mamba のハイブリッド、Sepp Hochreiter の xLSTM、Test-Time Tra

  2026-05-16 · 30 分で読めます #foundation-models#transformer#attention-is-all-you-need#vaswani#mamba

• Mamba & 状態空間モデル完全ガイド：Transformerを超える線形時間シーケンスモデリング

  S4、Mamba選択的状態空間モデル、Mamba 2、ハイブリッドアーキテクチャ（Jamba）まで、線形時間複雑度でTransformerを超えるMambaの完全技術ガイドです。

  2026-03-17 · 29 分で読めます #mamba#状態空間モデル#ssm#シーケンスモデル#2026-03

• MambaとState Space Model論文の詳細な分析：オプションのSSMからMamba-2までのトランスフォーマー代替アーキテクチャ ♪ 聞けます

  Mamba論文の選択的State Space Modelメカニズム、S4からMamba-2への発展過程、Transformerに対する線形時間複雑さの長所と短所、そしてビジョン・オーディオ・時系列分野の応用事例まで扱うSSMアーキテクチャ総合分析。

  2026-03-07 · 42 分で読めます #ai-papers#mamba#state-space-model#ssm#transformer

• Mamba論文レビュー：Selective State Space ModelsでTransformerを超える

  Mamba（Selective State Space Models）論文を深層レビューする。S4からMambaまでの発展過程、Selective Scanメカニズム、Hardware-Awareアルゴリズム、そしてMamba-2のState Space Dualityまでコードとともに分析。

  2026-03-02 · 11 分で読めます #mamba#state-space-model#ssm#transformer#linear-attention

• Mamba: Linear-Time Sequence Modeling with Selective State Spaces 論文分析

  Transformerの代替として注目されるMambaアーキテクチャを徹底分析します。Selective State Space Modelの核心アイデア、ハードウェア最適化アルゴリズム、実験結果まで、論文の主要内容をコードとともに解説します。

  2026-03-02 · 11 分で読めます #ai-papers#mamba#ssm#state-space-model#transformer