最適化アルゴリズム：SGD、モメンタム、Adam

出版日: 2025年7月6日

学習内容

勾配降下最適化アルゴリズムの動作原理と相違点
SGD、モメンタム、Adamアルゴリズムのインタラクティブな可視化
パラメータ調整と収束挙動
実装詳細と実用的な使用法

最適化アルゴリズム

オプティマイザーは、損失を最小化するためにパラメータを更新する方法を決定し、ニューラルネットワークの学習方法を制御します。オプティマイザーの選択は、トレーニング速度と最終的な性能に大きく影響します。

インタラクティブオプティマイザー比較

シンプルな二次関数の最小値に向かって、異なるオプティマイザーがどのように進むかを観察してください：

コントロール

学習率: 0.1

モメンタム: 0.9

Beta1 (Adam): 0.9

Beta2 (Adam): 0.999

可視化

SGD

モメンタム

Adam

時間経過による損失

ステップ 0 / 100 | SGD 損失: 9.0000 | モメンタム損失: 9.0000 | Adam 損失: 9.0000

確率的勾配降下法（SGD）

最もシンプルなオプティマイザー。勾配の大きさに比例してパラメータを直接更新します。

主要な式:

θ = θ - α * ∇f(θ)

αは学習率、∇f(θ)は勾配

class SGD:
    def __init__(self, learning_rate=0.01):
        self.lr = learning_rate
    
    def update(self, params, gradients):
        for i in range(len(params)):
            params[i] -= self.lr * gradients[i]
        return params

特徴:

長所: シンプル、メモリ効率が良い、凸問題で良好に動作
短所: 谷で振動する可能性、学習率に敏感
最適な用途: 大規模データセット、メモリが限られている場合

モメンタム付きSGD

過去の勾配の重み付き平均を蓄積することで、SGDにモメンタムを追加します。これにより収束を加速し、振動を減少させます。

主要な式:

v = β * v + ∇f(θ)

θ = θ - α * v

βはモメンタム係数（通常0.9）

class SGDMomentum:
    def __init__(self, learning_rate=0.01, momentum=0.9):
        self.lr = learning_rate
        self.momentum = momentum
        self.velocity = None
    
    def update(self, params, gradients):
        if self.velocity is None:
            self.velocity = [0] * len(params)
        
        for i in range(len(params)):
            self.velocity[i] = (self.momentum * self.velocity[i] + 
                              gradients[i])
            params[i] -= self.lr * self.velocity[i]
        return params

特徴:

長所: より速い収束、振動の減少、局所最小値をより良く克服
短所: 追加のハイパーパラメータ、最小値をオーバーシュートする可能性
最適な用途: 非凸最適化、振動が問題となる場合

Adam（適応モーメント推定）

モメンタムと適応学習率を組み合わせます。一次と二次モーメント推定に基づいて、各パラメータに個別の学習率を維持します。

主要な式:

m = β₁ * m + (1-β₁) * ∇f(θ)

v = β₂ * v + (1-β₂) * ∇f(θ)²

m̂ = m / (1-β₁ᵗ), v̂ = v / (1-β₂ᵗ)

θ = θ - α * m̂ / (√v̂ + ε)

デフォルト: β₁=0.9, β₂=0.999, ε=1e-8

class Adam:
    def __init__(self, learning_rate=0.001, beta1=0.9, beta2=0.999):
        self.lr = learning_rate
        self.beta1 = beta1
        self.beta2 = beta2
        self.epsilon = 1e-8
        self.m = None  # First moment
        self.v = None  # Second moment
        self.t = 0     # Time step
    
    def update(self, params, gradients):
        if self.m is None:
            self.m = [0] * len(params)
            self.v = [0] * len(params)
        
        self.t += 1
        
        for i in range(len(params)):
            # Update moments
            self.m[i] = self.beta1 * self.m[i] + (1 - self.beta1) * gradients[i]
            self.v[i] = self.beta2 * self.v[i] + (1 - self.beta2) * gradients[i]**2
            
            # Bias correction
            m_hat = self.m[i] / (1 - self.beta1**self.t)
            v_hat = self.v[i] / (1 - self.beta2**self.t)
            
            # Update parameters
            params[i] -= self.lr * m_hat / (math.sqrt(v_hat) + self.epsilon)
        
        return params

特徴:

長所: 適応学習率、ハイパーパラメータに対して頑健、そのまま使用できる
短所: より多くのメモリ使用量、場合によっては最適解に収束しない
最適な用途: ディープラーニング、スパース勾配、汎用最適化

比較まとめ

オプティマイザー	メモリ	収束	ハイパーパラメータ	最適な用途
SGD	最小	遅いが安定	学習率のみ	大規模データセット、限られたメモリ
モメンタム	低	SGDより速い	学習率 + モメンタム	非凸問題
Adam	高	速い、適応的	学習率 + 2つのベータ	ディープラーニング、汎用