きー
キー
検索のインデックスとして機能する識別子です。Attention機構においてクエリと照合し、情報の関連度を計算するために用いられます。
詳しい説明
キーとは、情報検索においてインデックスや識別子として機能する概念です。近年のAI技術、特にTransformerなどのAttention(注意)機構において、重要な役割を果たします。あるデータセットの中から、特定の情報を探し出すための手がかりとなるのがキーです。
Attention機構では、情報をQuery(問い合わせ)、Key(キー)、Value(値)の3要素で扱います。QueryとKeyの類似度を計算し、その結果をもとにValueから情報の重要度を抽出します。キーはこのプロセスにおける検索対象のインデックスとして機能します。
G検定では、Attention機構の仕組みを問う問題において、このQuery、Key、Valueの役割分担が頻出です。キーが検索される対象側の情報であり、検索の主体であるクエリと対になって計算される、という構造を理解しておくことが重要です。
試験で問われること
G検定
- AttentionにおけるQuery, Key, Valueの役割分担が重要である。
- QueryとKeyの類似度で重みを計算する仕組みである。
- Valueが実際に取り出される値である点と混同しないことが求められる。