TT Lab

한국어 English 日本語

はじめる
ブログ

ブログ

AI Safety Engineer＆Alignment Researcher キャリアガイド：最も急成長するAI職種の全て

2026-03-23 · 48 分で読めます · #ai-safety#ai-alignment#responsible-ai#ai-ethics#career#anthropic#openai#deepmind#rlhf#constitutional-ai#2026-03

対話で聞く · 11分二人がこの記事を解説します

1. なぜ今AI Safetyが重要（じゅうよう）なのか

2025年（ねん）はAI安全（あんぜん）（AI Safety）が学術研究室（がくじゅつけんきゅうしつ）を超（こ）え、産業全体（さんぎょうぜんたい）の核心課題（かくしんかだい）として浮上（ふじょう）した年です。単（たん）なる倫理的議論（りんりてきぎろん）ではなく、規制（きせい）、採用市場（さいようしじょう）、そして技術開発（ぎじゅつかいはつ）の方向性（ほうこうせい）そのものを変（か）えています。

1-1. グローバル規制（きせい）が現実（げんじつ）に

EU AI Actが2024年に発効（はっこう）し、2025年から段階的（だんかいてき）に施行（しこう）されています。高（こう）リスクAIシステムは必（かなら）ず安全性評価（あんぜんせいひょうか）を通過（つうか）しなければならず、違反（いはん）した場合（ばあい）は全世界売上（ぜんせかいうりあげ）の最大7%まで罰金（ばっきん）が課（か）されます。米国（べいこく）は2025年AI Action Planを通じて連邦（れんぽう）レベルのAI安全フレームワークを策定（さくてい）し、韓国（かんこく）はAI基本法（きほんほう）を制定（せいてい）して高リスクAIへの事前影響評価（じぜんえいきょうひょうか）を義務化（ぎむか）しました。

これらの規制の共通点（きょうつうてん）は一（ひと）つです：AI Safety Engineerなしでは製品（せいひん）を出荷（しゅっか）できない時代（じだい）が来（き）たということです。

1-2. AGIタイムラインが前倒（まえだお）しに

Anthropic CEOのDario Amodeiは2025年初頭（しょとう）のインタビューで、2026〜2027年にAGIに到達（とうたつ）する可能性（かのうせい）があると述（の）べました。OpenAIのSam Altmanも同様（どうよう）のタイムラインに言及（げんきゅう）しています。モデル能力（のうりょく）が急速（きゅうそく）に向上（こうじょう）する中、安全研究（あんぜんけんきゅう）の緊急性（きんきゅうせい）はかつてないほど高（たか）まっています。

主（おも）な懸念事項（けねんじこう）：

1-3. 採用市場（さいようしじょう）の爆発的成長（ばくはつてきせいちょう）

AI Safety分野（ぶんや）の採用市場は驚異的（きょういてき）な速度（そくど）で成長しています：

この成長の背景（はいけい）には、規制遵守義務（きせいじゅんしゅぎむ）、AGI競争（きょうそう）の激化（げきか）、そして一般（いっぱん）の人々のAI安全への関心（かんしん）の高まりがあります。

2. AI Safety vs AI Ethics vs AI Governance の区別（くべつ）

この3つの分野（ぶんや）は頻繁（ひんぱん）に混同（こんどう）されますが、実際（じっさい）には明確（めいかく）な違（ちが）いがあります。

2-1. AI Safety（AI安全）

定義（ていぎ）：AIシステムが意図（いと）通（どお）りに安全に動作（どうさ）することを保証（ほしょう）する技術的研究分野

核心的（かくしんてき）な問（と）い：「このAIが意図しない有害（ゆうがい）な行動を取（と）らないか？」

主要領域（しゅようりょういき）：

2-2. AI Ethics（AI倫理（りんり））

定義：AIが社会（しゃかい）に与（あた）える影響（えいきょう）と道徳的（どうとくてき）な含意（がんい）を研究する分野

核心的な問い：「このAIが公正（こうせい）かつ透明（とうめい）に動作しているか？」

主要領域：

2-3. AI Governance（AIガバナンス）

定義：AI開発（かいはつ）と展開（てんかい）を管理（かんり）する組織的（そしきてき）・社会的体系（しゃかいてきたいけい）

核心的な問い：「AIをどのように規制し管理するか？」

主要領域：

2-4. 比較（ひかく）まとめ

区分AI SafetyAI EthicsAI Governance
焦点（しょうてん）技術的安全性社会的影響政策/規制
核心スキルMLエンジニアリング社会科学、哲学法律、政策
背景（はいけい）CS、数学人文学、社会学法学、公共政策
成果物（せいかぶつ）安全なモデル/システム倫理ガイドライン規制フレームワーク
代表的職名（だいひょうてきしょくめい）Safety EngineerEthics ResearcherPolicy Advisor
中央値年収180K〜250Kドル130K〜180Kドル150K〜221Kドル

実際にはこの3分野は密接（みっせつ）に連携（れんけい）しています。例えば、AnthropicのResponsible Scaling Policyは技術的安全評価（Safety）に基（もと）づいて政策的意思決定（Governance）を行い、倫理的原則（Ethics）を反映（はんえい）しています。

3. 核心研究分野（かくしんけんきゅうぶんや）ディープダイブ

AI Safetyの主要研究分野を技術的に深く掘り下げます。

3-1. RLHFと整列技法（せいれつぎほう）

RLHF（Reinforcement Learning from Human Feedback）は現在最も広（ひろ）く使用されている整列技法です。

RLHFパイプライン：

1. SFT（Supervised Fine-Tuning）
   - 人間が作成した高品質な応答でモデルを微調整
   - 基本的な指示に従う能力を確保

2. Reward Model学習
   - 人間が応答ペアの選好を評価
   - 選好データで報酬モデル（Reward Model）を学習
   - RM(s_t) -> scalar reward

3. PPO（Proximal Policy Optimization）
   - 報酬モデルを使って方策（Policy）を最適化
   - KLペナルティで元のモデルから離れすぎないよう制限

DPO（Direct Preference Optimization）：報酬モデルなしの直接選好学習

# DPOの核心アイデア（疑似コード）
# Reward Modelの学習ステップをスキップし
# 選好データから直接方策を最適化

# loss = -log(sigmoid(beta * (log_ratio_preferred - log_ratio_rejected)))
# log_ratio = log(pi(y|x) / pi_ref(y|x))

def dpo_loss(pi_logps_preferred, pi_logps_rejected,
             ref_logps_preferred, ref_logps_rejected, beta=0.1):
    """
    DPO loss計算
    - pi: 学習中の方策
    - ref: 参照方策（SFTモデル）
    - beta: KLペナルティの強度
    """
    log_ratio_preferred = pi_logps_preferred - ref_logps_preferred
    log_ratio_rejected = pi_logps_rejected - ref_logps_rejected
    logits = beta * (log_ratio_preferred - log_ratio_rejected)
    loss = -torch.nn.functional.logsigmoid(logits).mean()
    return loss

DPOの利点は、Reward Modelの学習ステップが不要で計算コストが削減（さくげん）され、ハイパーパラメータチューニングが簡素化（かんそか）されることです。

Constitutional AI（Anthropic）：

Anthropicが開発した独自の整列技法で、AIが事前に定義された「憲法（けんぽう）」（原則リスト）に基づいて自身の応答を評価・改善します。

Constitutional AIプロセス：

Step 1: レッドチームプロンプトに対する初期応答を生成
Step 2: 憲法原則に基づく自己批判（Self-Critique）
  - 「この応答は原則Xに違反しているか？」
  - 「どう改善できるか？」
Step 3: 改善された応答の生成（Revision）
Step 4:（オプション）RLAIF - AIフィードバックによる強化学習

RLAIF（Reinforcement Learning from AI Feedback）：人間の代わりにAIがフィードバックを提供します。Constitutional AIの拡張版で、人間ラベラーのコストとスケーラビリティの問題を解決します。

3-2. Red Teamingと安全性評価（あんぜんせいひょうか）

Red TeamingはAIシステムの脆弱性（ぜいじゃくせい）と危険な振る舞いを事前に発見する攻撃的テスト手法です。

手動（しゅどう）Red Teaming：

人間の専門家（せんもんか）が直接モデルを攻撃して脆弱性を発見します：

自動（じどう）Red Teaming：

# 自動Red Teaming概念的パイプライン

class AutoRedTeam:
    """AIがAIを攻撃する自動Red Teamingフレームワーク"""

    def __init__(self, target_model, attacker_model, judge_model):
        self.target = target_model    # 攻撃対象
        self.attacker = attacker_model  # 攻撃生成器
        self.judge = judge_model      # 成否判定器

    def generate_attacks(self, category, num_attacks=100):
        """特定カテゴリの攻撃プロンプトを生成"""
        attacks = []
        for _ in range(num_attacks):
            prompt = self.attacker.generate(
                f"Generate a prompt that might cause unsafe behavior "
                f"in the category: {category}"
            )
            attacks.append(prompt)
        return attacks

    def evaluate(self, attacks):
        """攻撃結果の評価"""
        results = []
        for attack in attacks:
            response = self.target.generate(attack)
            is_unsafe = self.judge.evaluate(
                attack=attack,
                response=response,
                criteria="Does this response contain unsafe content?"
            )
            results.append({
                "attack": attack,
                "response": response,
                "is_unsafe": is_unsafe
            })
        return results

Jailbreak防御技法（ぼうぎょぎほう）：

プロンプトインジェクションとジェイルブレイク試行に対する主要防御戦略（せんりゃく）：

  1. 入力フィルタリング：既知の攻撃パターンの検出
  2. システムプロンプト強化：明確な安全指示の埋め込み
  3. 出力検証（しゅつりょくけんしょう）：応答の安全性を事後検証
  4. 多層防御（たそうぼうぎょ）：複数のセキュリティレイヤーを重ねる
  5. 適応的防御（てきおうてきぼうぎょ）：新しい攻撃に継続的に対応

評価フレームワーク：

フレームワーク開発元特徴
TrustLLM学界コンソーシアム6次元の信頼性評価
HarmBenchCMU等標準化された有害性ベンチマーク
HELMStanford包括的な言語モデル評価
DecodingTrust学界GPTモデルの信頼性総合評価
SafetyBench学界中国語を含む多言語安全評価

3-3. Interpretability（解釈可能性（かいしゃくかのうせい））

解釈可能性はAIモデルの内部動作原理を理解する研究分野です。Anthropicがこの分野に特に大きな投資（とうし）をしています。

Mechanistic Interpretability（機械的解釈可能性（きかいてきかいしゃくかのうせい））：

ニューロンと回路（かいろ）レベルでモデルがどのように情報を処理するかを分析します。

Mechanistic Interpretability核心技法：

1. Activation Patching（活性化パッチング）
   - 特定ニューロンの活性化を置き換えて因果関係を把握
   - 「このニューロンがなければ結果はどう変わるか？」

2. Feature Visualization（特徴の可視化）
   - 特定ニューロンを最大限に活性化する入力パターンを発見
   - 各ニューロンが「何に反応するか」を視覚的に確認

3. Circuit Analysis（回路分析）
   - 特定の能力を実装するニューロングループ（回路）を特定
   - 例：「事実記憶回路」「算術回路」「言語切替回路」

4. Probing（探査）
   - 中間表現から特定の情報を抽出する分類器を学習
   - モデルがどこに何の情報を保存しているかを把握

Anthropicの「Scaling Monosemanticity」研究（けんきゅう）：

Anthropicは2024年に画期的（かっきてき）な研究を発表しました。Sparse Autoencoders（SAE）を使用してClaudeモデル内部で数百万個の解釈可能な「特徴（とくちょう）（features）」を発見しました。

主な発見：

Dictionary Learning：

# Sparse Autoencoderによる辞書学習（概念的コード）

class SparseAutoencoder(torch.nn.Module):
    """
    モデルの活性化を解釈可能な特徴に分解
    - 入力：モデル中間レイヤーの活性化ベクトル
    - 出力：スパース（疎）な特徴表現
    """
    def __init__(self, d_model, n_features):
        super().__init__()
        # d_model: モデルの隠れ次元
        # n_features: 辞書のサイズ（通常d_modelよりずっと大きい）
        self.encoder = torch.nn.Linear(d_model, n_features)
        self.decoder = torch.nn.Linear(n_features, d_model)

    def forward(self, x):
        # エンコード：活性化をスパースな特徴空間に変換
        features = torch.nn.functional.relu(self.encoder(x))
        # デコード：特徴から元の活性化を復元
        reconstructed = self.decoder(features)
        return features, reconstructed

    def loss(self, x, features, reconstructed, sparsity_coeff=1e-3):
        # 復元損失 + スパース性ペナルティ
        reconstruction_loss = (x - reconstructed).pow(2).mean()
        sparsity_loss = features.abs().mean()
        return reconstruction_loss + sparsity_coeff * sparsity_loss

3-4. Scalable Oversight（拡張可能（かくちょうかのう）な監督（かんとく））

AIが人間（にんげん）より優（すぐ）れるようになったとき、人間はAIをどのように効果的（こうかてき）に監督できるでしょうか？

AI Debate（AI討論（とうろん））：

2つのAIが反対の立場（たちば）で議論（ぎろん）し、人間の審判（しんぱん）がより説得力（せっとくりょく）のある方を選（えら）びます。

Debateプロトコル：

1. 質問Qが与えられる
2. AI-Aは「はい」を主張、AI-Bは「いいえ」を主張
3. 交互に論拠を提示（各ラウンド）
   - AI-A: 「はいである理由はXです」
   - AI-B: 「Xは間違っています。なぜならY...」
   - AI-A: 「Yに反論します。Zをご覧ください...」
4. 人間の審判が最終判断
   - 人間は全内容を理解する必要はない
   - 討論過程で明らかになった核心的根拠のみを評価

このアプローチの核心的仮定（かてい）は、真実（しんじつ）は嘘（うそ）よりも防御しやすいということです。したがって、2つのAIが全力（ぜんりょく）で議論すれば真実が明（あき）らかになるという仮説です。

Recursive Reward Modeling（再帰的報酬（さいきてきほうしゅう）モデリング）：

複雑（ふくざつ）なタスクをより小さく評価可能なサブタスクに分解します：

  1. 人間が評価できる単純（たんじゅん）なタスクから開始
  2. 報酬モデルを学習してそのレベルのタスクを評価
  3. 学習した報酬モデルを使ってより複雑なタスクを評価
  4. このプロセスを再帰的に繰り返し、徐々（じょじょ）に複雑なタスクまで拡張

AI-Assisted Evaluation（AI支援評価（しえんひょうか））：

AIが他のAIの出力を評価する手法です。AnthropicのConstitutional AIやOpenAIのモデルベース評価がこのカテゴリに属します。核心は評価AIが評価対象AIから独立（どくりつ）していなければならないということです。

3-5. ガードレールとContent Safety

実際のプロダクション環境（かんきょう）でAI安全を実装する実用的なアプローチです。

入力フィルタリング：

# 入力安全フィルタリングの概念的な例

class InputSafetyFilter:
    """ユーザー入力から有害なプロンプトを検出・ブロック"""

    def __init__(self):
        self.categories = [
            "violence", "hate_speech", "self_harm",
            "sexual_content", "illegal_activity",
            "prompt_injection", "jailbreak_attempt"
        ]

    def classify(self, user_input: str) -> dict:
        """入力を安全カテゴリに分類"""
        # 1. ルールベースフィルタ（高速で確実なパターン）
        rule_result = self.rule_based_check(user_input)
        if rule_result["blocked"]:
            return rule_result

        # 2. ML分類器（微妙なパターン）
        ml_result = self.ml_classifier.predict(user_input)

        # 3. LLMベース判定（文脈理解が必要な場合）
        if ml_result["confidence"] < 0.8:
            llm_result = self.llm_judge(user_input)
            return llm_result

        return ml_result

    def rule_based_check(self, text: str) -> dict:
        """正規表現とキーワードベースの高速チェック"""
        # 既知のjailbreakパターン検出
        # プロンプトインジェクション試行検出
        # ...
        pass

出力フィルタリング：

# 出力安全フィルタリング

class OutputSafetyFilter:
    """モデル応答の安全性を検証"""

    def check(self, prompt: str, response: str) -> dict:
        """応答の安全性を多層検証"""
        checks = {
            "toxicity": self.check_toxicity(response),
            "factuality": self.check_hallucination(prompt, response),
            "pii_leak": self.check_pii_exposure(response),
            "code_safety": self.check_code_safety(response),
            "refusal_appropriateness": self.check_refusal(prompt, response)
        }
        return {
            "safe": all(c["safe"] for c in checks.values()),
            "details": checks
        }

NeMo Guardrailsフレームワーク（NVIDIA）：

NVIDIAが開発したオープンソースフレームワークで、LLMアプリケーションにプログラム可能なガードレールを追加します：

NeMo Guardrailsの構造：

1. Input Rails（入力レール）
   - 有害プロンプトのブロック
   - トピック範囲の制限（オフトピックのブロック）
   - プロンプトインジェクション防御

2. Output Rails（出力レール）
   - 有害応答のフィルタリング
   - ハルシネーションの検出
   - PII（個人情報）露出の防止

3. Dialog Rails（対話レール）
   - 対話フローの制御
   - 許可されたトピックへの誘導
   - センシティブなテーマに対する応答ポリシー

4. Colang（DSL）
   - ガードレールルールを定義する専用言語
   - 自然言語とプログラミングの中間形態

Guardrails AI（Pythonライブラリ）：

# Guardrails AIの使用例（概念的）

# 検証ルールの定義
guard_config = """
validators:
  - type: toxicity
    threshold: 0.7
    on_fail: refusal
  - type: pii
    entities: [email, phone, ssn]
    on_fail: anonymize
  - type: hallucination
    method: self_check
    on_fail: retry
"""

# ガードレール適用
# guard = Guard.from_yaml(guard_config)
# result = guard(llm_call, prompt=user_prompt)
# result.validated_output  # 検証済みの安全な出力

4. 採用企業（さいようきぎょう）とポジション

AI Safety分野の主要な採用企業とその特徴を見ていきます。

4-1. AI Safety中心企業（ちゅうしんきぎょう）

Anthropic：

AI Safetyを企業の核心ミッションとする代表的（だいひょうてき）な企業です。

主要チームと役割（やくわり）：

特徴：

OpenAI：

主要チームと役割：

特徴：

Google DeepMind：

主要チームと役割：

特徴：

4-2. 非営利研究所（ひえいりけんきゅうじょ）

研究所焦点所在地（しょざいち）特徴
MIRI数学的AI整列理論バークレー理論中心、小規模
ARC（Alignment Research Center）整列評価バークレーモデル評価専門
CAIS（Center for AI Safety）安全研究支援サンフランシスコインフラと資金支援
FAR.AI実用的安全研究バークレー実験的研究
Redwood Research解釈可能性、整列バークレー技術研究中心

4-3. Big Tech

企業チーム名焦点
MetaResponsible AILLAMAモデルの安全、オープンソース安全ツール
MicrosoftAI Ethics & EffectsAzure AI安全、Copilot安全
AmazonResponsible AIBedrockの安全、AWS AIサービスの安全
AppleML ResearchオンデバイスAI安全、プライバシー
NVIDIATrustworthy AINeMo Guardrails、安全インフラ

4-4. 企業文化（きぎょうぶんか）の比較

企業選択時の考慮事項：

1. 研究の自律性
   - 高い：Anthropic、DeepMind、非営利研究所
   - 中程度：OpenAI、Meta
   - 低い（プロダクション中心）：Microsoft、Amazon

2. 論文発表
   - 積極的に奨励：Anthropic、DeepMind
   - 条件付きで許可：OpenAI、Meta
   - 制限的：Apple

3. 報酬レベル
   - 最高水準：Anthropic、OpenAI、DeepMind
   - 高い：Big Tech全般
   - 中程度：非営利研究所

4. 社会的インパクト
   - 直接的：Anthropic（核心ミッション）
   - 大規模：Big Tech（数億人のユーザー）
   - 理論的：非営利研究所

5. 必須（ひっす）スキル

AI Safety Engineerになるために必要なスキルを体系的（たいけいてき）に整理します。

5-1. 技術スキル

プログラミング：

必須：
- Python（主言語）：PyTorch、JAX、NumPy、Pandas
- Git、Linux基本操作

あると有利：
- Rust（パフォーマンス最適化）
- C++（MLフレームワーク内部）
- Julia（数値計算）

機械学習（きかいがくしゅう）の基礎（きそ）：

核心概念：
- ディープラーニング：Transformer、Attentionメカニズム
- 強化学習：MDP、Policy Gradient、PPO
- NLP：トークン化、エンベディング、ファインチューニング
- 統計/確率：ベイズ推論、仮説検定

実務能力：
- PyTorchでのモデル実装と学習
- HuggingFace Transformersの活用
- 分散学習（DeepSpeed、FSDP）の理解
- 評価ベンチマークの実装と分析

安全特化（あんぜんとっか）技術：

整列技法：
- RLHF/DPO実装経験
- 報酬モデルの学習
- プロンプトエンジニアリング

Red Teaming：
- 攻撃パターンの生成
- 自動Red Teamingフレームワークの使用
- 評価メトリクスの設計

Interpretability：
- Activation Patching
- Sparse Autoencoderの学習
- 特徴分析と可視化

ガードレール：
- 入出力フィルタリングシステムの実装
- コンテンツ分類器の学習
- プロダクション安全パイプライン

5-2. 研究スキル

5-3. コミュニケーションスキル

AI Safety Engineerに特に重要なソフトスキル：

5-4. 倫理（りんり）と哲学的思考（てつがくてきしこう）

6. 年収（ねんしゅう）と報酬（ほうしゅう）

AI Safety分野の報酬体系を職級別（しょっきゅうべつ）・地域別（ちいきべつ）に整理します。

6-1. 職級別年収（2025年基準）

職級米国（USD）韓国（KRW）欧州（EUR）
Junior（0〜2年）100K〜150K5,000万〜8,000万60K〜90K
Mid（2〜5年）150K〜250K8,000万〜1.3億90K〜150K
Senior（5〜10年）250K〜500K1.3億〜2.5億150K〜300K
Staff/Principal400K〜800K2億〜4億250K〜500K
研究ディレクター500K〜1M+3億〜5億+300K〜600K

注意：米国の年収は基本給（きほんきゅう）+株式報酬（かぶしきほうしゅう）（RSU/Stock Options）の合算で、特にAnthropicとOpenAIの場合は株式の価値が大きいです。

6-2. ポジション別年収の違い

報酬の高い順（一般的）：

1. Alignment Research Scientist（研究型）
   - 最高：1M+（Top 1%）
   - 論文実績が年収に直接影響

2. AI Safety Engineer（エンジニアリング型）
   - 最高：800K
   - プロダクションシステム構築経験が核心

3. AI Red Team Lead（評価型）
   - 最高：600K
   - セキュリティ背景 + ML知識の組み合わせ

4. AI Governance Specialist（政策型）
   - 最高：400K
   - 法律/政策背景 + 技術理解

5. AI Ethics Researcher（倫理型）
   - 最高：300K
   - 学術研究中心

6-3. 交渉（こうしょう）のコツ

7. 学習（がくしゅう）ロードマップ（12ヶ月）

AI Safety Engineerになるための体系的な12ヶ月学習計画です。

7-1. 基礎段階（きそだんかい）（1〜3ヶ月）

目標：ML/DLの基礎とAI Safety入門

月1：機械学習の基礎

週次計画：

1週目：Python + PyTorchの基礎
  - PyTorchテンソル演算、autograd
  - 簡単なニューラルネットワークの実装

2週目：ディープラーニングの核心
  - CNN、RNN、Attention Mechanism
  - Transformerアーキテクチャの理解

3週目：NLPの基礎
  - トークン化、エンベディング
  - HuggingFace Transformersの使い方

4週目：強化学習の基礎
  - MDP、Policy Gradient
  - PPOアルゴリズムの理解

月2：AI Safety入門

月3：統計（とうけい）と実験方法論（じっけんほうほうろん）

7-2. 深化段階（しんかだんかい）（4〜6ヶ月）

目標：核心安全技術の実践

月4：RLHFの実装

プロジェクト：小規模LLMにRLHFを適用

1. SFTフェーズ
   - Alpacaデータセットで基本的な微調整
   - 学習率、エポック等のハイパーパラメータ実験

2. 報酬モデルの学習
   - 選好データの収集（自分でラベリング）
   - 報酬モデルの実装と学習

3. PPO学習
   - TRL（Transformer Reinforcement Learning）ライブラリを使用
   - KLペナルティの調整実験

4. DPO比較実験
   - 同じデータでDPOを適用
   - RLHF vs DPOの性能比較

月5：Red Teamingの実践

月6：安全システムの構築

7-3. 専門化段階（せんもんかだんかい）（7〜9ヶ月）

2つのトラックから1つを選択します：

トラックA：Interpretability（研究型）

月7：基礎
  - TransformerLensライブラリの学習
  - Neel NandaのMechanistic Interpretabilityチュートリアル

月8：実践
  - GPT-2モデルで特定の回路（circuit）を特定
  - Activation Patching実験

月9：研究
  - Sparse Autoencoderの学習と特徴分析
  - 小規模な研究プロジェクトの実施

トラックB：AI Governance（政策型）

月7：基礎
  - EU AI Actの詳細分析
  - ISO/IEC 42001の学習
  - AIリスク評価フレームワークの研究

月8：実践
  - AIシステムのリスク評価実施
  - モデルカード（Model Card）の作成
  - アルゴリズム影響評価（AIA）の実施

月9：専門化
  - 規制コンサルティングプロジェクト
  - 政策レポートの作成
  - 業界カンファレンスへの参加

7-4. プロジェクトと就職準備段階（しゅうしょくじゅんびだんかい）（10〜12ヶ月）

月10：オープンソースへの貢献（こうけん）

月11：論文/ブログの執筆

月12：就職準備

8. 面接準備（めんせつじゅんび）

AI Safety関連の面接で頻出（ひんしゅつ）する質問タイプと準備方法です。

8-1. 技術面接

RLHF実装関連：

想定質問：

Q: RLHFでKLペナルティがなぜ必要か？
A: 方策が報酬モデルの穴を利用（reward hacking）して
   元のモデルから離れすぎることを防ぐためです。
   KL(pi || pi_ref)を報酬から差し引き、
   元の分布から離れるほどペナルティを課します。

Q: DPOがRLHFより有利な点と不利な点は？
A: 有利：報酬モデルの学習不要、計算コスト削減、安定した学習
   不利：報酬モデルの再利用不可、オンラインデータ活用困難、
   複雑な選好パターンの学習に限界

Q: Constitutional AIの「憲法」とは具体的に何か？
A: モデルが自身の応答を評価する際に使用する原則リストです。
   例：「この応答は有害な助言を含んでいるか？」
   「この応答は特定のグループを差別しているか？」等

バイアス検出関連：

想定質問：

Q: LLMにおけるバイアスを測定する3つの方法を説明せよ。
A:
1. 反事実的評価：敏感な属性（性別、人種）のみを変えて
   応答の変化を測定
2. 代表性分析：生成テキストにおける各グループの表現頻度と
   肯定/否定比率の分析
3. 下流影響測定：実際の使用シナリオにおける
   グループ間のパフォーマンス格差分析

8-2. 研究面接

論文発表：

研究提案書（けんきゅうていあんしょ）：

面接で提出する研究提案書の構造：

1. 問題定義（1ページ）
   - なぜこの問題が重要か？
   - 既存アプローチの限界は？

2. 提案手法（2〜3ページ）
   - 核心アイデア
   - 技術的アプローチ
   - 想定される実験設計

3. 予想結果（1ページ）
   - 成功基準
   - 潜在的リスクと代替案

4. タイムライン（0.5ページ）
   - 3〜6ヶ月単位のマイルストーン

8-3. 倫理面接

AI Safetyポジションで特に重要な面接タイプです。

トロッコ問題のAI版：

シナリオ例：

Q: AI医療診断システムが稀少疾病を99.9%の精度で
   検出するが、0.1%の誤診が致命的な副作用のある
   治療につながる。このシステムをデプロイすべきか？

議論のポイント：
- 期待効用計算（功利主義的分析）
- 同意と告知義務（義務論的分析）
- 代替設計（閾値の調整、人間確認ステップの追加）
- 脆弱な集団への差別的影響
- デプロイ環境によるリスクの違い

8-4. 面接質問20選（せん）

技術：

  1. RLHFパイプラインの各ステップと各ステップで起こり得る問題点は？
  2. Reward hackingとは何か、どう防止するか？
  3. Sparse AutoencoderがInterpretabilityで重要な理由は？
  4. プロンプトインジェクション攻撃の3種類とその防御方法は？
  5. モデルのハルシネーションを検出する技術的方法は？

研究：

  1. Constitutional AIとRLHFの根本的な違いは？
  2. Scalable Oversight問題を解決するアプローチの比較
  3. AI Debateが実際に機能するためにどんな仮定が必要か？
  4. Mechanistic Interpretabilityの現在の限界と克服の方向は？
  5. 整列税（Alignment Tax）を最小化する方法は？

倫理/ガバナンス：

  1. AI Safetyと AI能力研究の間の正しいバランスは？
  2. オープンソースモデルの安全性とアクセシビリティのトレードオフは？
  3. EU AI Actの高リスクAI分類基準に同意するか？
  4. AI開発における「十分に安全」という基準をどう設定するか？
  5. AIの軍事利用の倫理的境界はどこか？

シナリオ：

  1. モデルが予期しない危険な振る舞いを示した場合、どう対応するか？
  2. 安全性とパフォーマンスが衝突する時の意思決定プロセスは？
  3. Red Teamingで発見された致命的な脆弱性を公開するか？
  4. 競合他社（きょうごうたしゃ）がより安全でないモデルを先に出荷した場合は？
  5. AI Safety研究がかえってリスクを増大させる可能性がある場合は？

9. オープンソースとコミュニティ

AI Safetyの学習とキャリア発展に役立つリソースです。

9-1. 学習プログラム

プログラム形態期間対象費用
AGI Safety Fundamentals（BlueDot Impact）オンラインコホート8週間初級無料
MATS（ML Alignment Theory Scholars）メンターシップ10週間中級奨学金支給
AI Safety Camp集中キャンプ2〜4週間中級無料/補助金
ARENA（Alignment Research Engineer Accelerator）ブートキャンプ8週間エンジニア無料
Redwood Research REMIXインターンシップ12週間大学院生有給

9-2. コミュニティとフォーラム

9-3. 学会（がっかい）とワークショップ

主要学会：

- NeurIPS：SoLaR（Socially Responsible Language Models）ワークショップ
- ICML：AI Safety関連の複数ワークショップ
- ICLR：整列関連の論文多数
- ACL：言語モデル安全関連トラック
- FAccT：公正性、責任、透明性の専門学会
- AAAI：AI Safetyトラック

主要イベント：

- EAGx（Effective Altruism Global）：ネットワーキング集中
- AI Safety Summit：各国政府主催
- Anthropic Research Days：Anthropic主催の研究発表

9-4. オープンソースプロジェクト

貢献すれば履歴書（りれきしょ）に強力な項目（こうもく）になります：

10. クイズ

ここまで学んだ内容を確認しましょう。

Q1. RLHFとDPOの核心的な違いは何か？

正解：RLHFは3段階プロセス（SFT→報酬モデル学習→PPO最適化）で、別途の報酬モデルを学習した後、それを使って強化学習で方策を最適化します。一方DPO（Direct Preference Optimization）は報酬モデルの学習ステップをスキップし、選好データから直接方策を最適化します。DPOは計算コストが低く安定していますが、報酬モデルの再利用ができません。

Q2. AnthropicのConstitutional AIが従来のRLHFと異なる点は？

正解：Constitutional AIは人間のフィードバックの代わりに事前定義された「憲法」（原則リスト）を使用します。モデルが自身の応答を原則に従って自己批判・改善（Self-Critique + Revision）した後、AIのフィードバック（RLAIF）で強化学習を行います。これにより人間ラベラーへの依存度を下げ、スケーラビリティを向上させ、明示的な原則に基づく透明な整列が可能になります。

Q3. Mechanistic InterpretabilityにおけるSparse Autoencoderの役割は？

正解：モデルの個々のニューロンは複数の概念に反応（Polysemantic）するため解釈が困難です。Sparse Autoencoder（SAE）はこのポリシマンティックなニューロンの活性化をより高次元のスパース空間に変換し、各次元が1つの解釈可能な「特徴（feature）」に対応するよう分解します。AnthropicのScaling Monosemanticity研究では、この手法でClaude内部の数百万個の概念的特徴を発見しました。

Q4. Scalable Oversightの「AI Debate」アプローチはどんな仮定に基づくか？

正解：AI Debateの核心的仮定は「真実は嘘よりも防御しやすい」ということです。2つのAIが反対の立場で全力で議論すれば、虚偽の主張は反論に弱いため、最終的に真実が明らかになるという仮説です。これにより人間の審判が全内容を理解しなくても、討論過程で明らかになった核心的根拠を評価でき、超人的AIの監督に活用できます。

Q5. AI Safety Engineerとして就職するための最も効果的なポートフォリオ戦略は？

正解：最も効果的な戦略は以下の3つを組み合わせることです：

  1. 技術プロジェクト：小規模LLMへのRLHF/DPOの直接実装、Red Teaming自動化ツールの開発、安全ガードレールシステムの構築プロジェクト
  2. オープンソース貢献：HuggingFace TRL、TransformerLens、NeMo Guardrails等の認知度の高い安全関連オープンソースプロジェクトへの有意義な貢献
  3. 研究成果物：AI Safety関連の技術ブログシリーズ、Alignment Forumへの投稿、またはワークショップ論文

この3つが技術力、協働能力、コミュニケーション能力の全てを証明します。

11. 参考資料（さんこうしりょう）

  1. Anthropic Core Views on AI Safety - AnthropicのAI安全に関する核心的見解
  2. Anthropic Responsible Scaling Policy - Anthropicの責任あるスケーリングポリシー
  3. Constitutional AI Paper (Bai et al., 2022) - Constitutional AI原論文
  4. RLHF Paper (Christiano et al., 2017) - RLHF原論文
  5. DPO Paper (Rafailov et al., 2023) - Direct Preference Optimization論文
  6. Scaling Monosemanticity (Anthropic, 2024) - 解釈可能性研究
  7. 80,000 Hours AI Safety Career Guide - AI Safetyキャリアガイド
  8. AGI Safety Fundamentals (BlueDot Impact) - AI Safety基礎コース
  9. MATS Program - ML Alignment Theory Scholars
  10. AI Safety Camp - AI Safety集中キャンプ
  11. Alignment Forum - AI整列研究フォーラム
  12. LessWrong - 合理性とAI Safetyのコミュニティ
  13. EU AI Act Full Text - EU AI Act全文
  14. NIST AI Risk Management Framework - NIST AIリスク管理
  15. TrustLLM Benchmark - LLM信頼性評価
  16. HarmBench - 有害性ベンチマーク
  17. NeMo Guardrails - NVIDIA安全フレームワーク
  18. TransformerLens - Mechanistic Interpretabilityツールキット
  19. HuggingFace TRL - RLHF/DPO実装ライブラリ
  20. ARENA Curriculum - Alignment Research Engineerカリキュラム
  21. ARC Evals - AI整列評価
  22. Center for AI Safety - AI Safety研究支援
  23. Anthropic Research - Anthropic研究ページ
ログインするといいねできます

コメント

まだコメントはありません。

ログインするとコメントできます