TPU

AI処理専用に設計されたGoogle独自のプロセッサ

TPU(Tensor Processing Unit)は、GoogleがAIの計算処理を実行するために一から設計した独自のASIC(特定用途向け集積回路)です。CPU、GPU、TPUはいずれも計算処理を行うプロセッサですが、TPUはAI処理だけを目的として作られており、CPUやGPUよりもさらに特化しています。

名前にあるテンソルは、機械学習で使われるデータ構造の総称です。AIの処理の裏側では大量の数学的な計算が行われており、TPUはその計算を担うために作られました。

開発の経緯と利用されている場面

Googleでは音声認識サービスの品質が大きく向上していました。そこで、すべての利用者が1日にわずか3分間Googleに話しかけるようになると、データセンターのコンピュータの数を2倍にする必要があると見積もられました。当時市販されていたハードウェアよりはるかに効率の良いものが必要だと判断したことが、TPUの開発につながりました。

TPUはGoogleのデータセンターにしかありません。Google検索、YouTube、DeepMindの大規模言語モデルといった、Googleの代表的なAIサービスの中心で使われてきました。Google Cloudの顧客が動かすAIサービスも支えています。

ハードウェアとしての特徴

TPUは、機械学習のアルゴリズムでよく現れる大きな行列演算を実行するよう設計されたハードウェアで、モデルを効率よく学習させられます。また、チップ上に高帯域幅メモリ(HBM)を持っているため、より大きなモデルやより大きなバッチサイズを扱えます。

向いている処理と向かない処理

Google Cloudの資料は、次のようなモデルにTPUが向くとしています。

• 行列計算が処理の中心を占めるモデル
• 数週間から数か月かけて学習するモデル
• 実効バッチサイズの大きい大規模なモデル
• メインの学習ループの中に独自の演算を含まないモデル
• 高度なランキングや推薦の処理によくある、非常に大きな埋め込みを持つモデル

一方、次のような処理には向かないとされています。

• 頻繁な分岐を必要とする線形代数の処理や、要素ごとの演算を多く含む処理
• 高い精度の演算を必要とする処理
• メインの学習ループの中に独自の演算を含むニューラルネットワークの処理

TPUはG検定シラバス2024の中項目11 ニューラルネットワークとディープラーニングのキーワードに含まれています。