UCB 方策

UCB方策は、強化学習におけるバンディット問題において、探索と活用のトレードオフを解決するための手法です。未知の行動を試す「探索」と、現在最も報酬が得られそうな行動をとる「活用」のバランスを最適化します。

仕組みとしては、各行動の期待報酬の推計値に、その不確実性（信頼区間）の値を加算した値を選択します。まだ試行回数が少ない行動は不確実性が高く評価されるため、自動的に選ばれやすくなります。これにより、報酬が得られそうな選択肢を逃さず、かつ未知の選択肢も適度に試すことができます。

G検定では、強化学習の導入部分で「探索と活用」という概念とともに問われます。ε-greedy法と異なり、信頼区間という統計的な指標を用いる点が特徴です。バンディット問題における賢い選択基準として、確率的なバランスの取り方を理解しておく必要があります。