ディープラーニングの登場と歴史：第三次ブームの引き金

ねらい

このレッスンでは、いま人工知能の中心にあるディープラーニングが、どのように生まれ、なぜ2010年代に第三次人工知能ブームの引き金になったのかを学びます。

基礎

人間の神経回路をまねる発想と、その発想を目覚めさせた3つの条件をつかみます。

1. 人間の神経回路をまねる発想

私たちの脳の中では、膨大な数の神経細胞が網の目のようにつながり、信号をやり取りしています。1つひとつの細胞がしていることは、受け取った信号を次の細胞へ伝えるだけの単純な仕事です。それでも、その単純なやり取りが幾重にも積み重なると、ものを見分けたり、声を聞き取ったりする高度な働きが生まれます。この人間の神経回路のしくみを単純化して、機械の上に計算の形で写し取ったものが、ニューラルネットワークです。

そして、ニューラルネットワークの層を何段にも深く重ねて、複雑なパターンを学べるようにしたものが、ディープラーニングです。ディープとは「深い」という意味で、層の深さを指します。層の深さには、はっきりした役割があります。入り口に近い層は、線の向きや色の変化のような単純な手がかりをとらえます。奥の層は、手前の層がとらえた手がかりを組み合わせて、目や耳、そして顔全体へと、しだいに複雑なかたちをとらえていきます。単純な部品から複雑な全体へと特徴が段階的に組み上がっていくため、注目すべき手がかりを人間が書き出せなくても、機械がデータから自分で見つけ出せるのです。

ただし、この発想そのものは新しくありません。神経回路をまねる研究は、何十年も前から積み重ねられてきました。それでも長いあいだ、大きな成果には結びつきませんでした。深いネットワークを育てるには、膨大な学習の材料と、膨大な計算が必要だったからです。

2. 眠っていた発想を目覚めさせた3つの条件

その足りなかったものが、2000年代から2010年代にかけてそろいます。

まず、学習の材料がそろいました。インターネットの普及で、文章や画像などのデータが爆発的に増え、大量で多様なデータ、すなわちビッグデータが手に入るようになりました。これが、深いネットワークにとっての豊富な食料になりました。

次に、計算する体力が追いつきました。深いネットワークの学習には膨大な計算が必要です。コンピュータの計算能力が大きく向上し、とくに、画像処理のために発達した、大量の計算を同時にこなせる半導体である GPU が、その学習を現実的な時間で終えられるようにしました。

そして、競い合う場が生まれました。共通のデータと共通のものさしで、世界中の研究者が毎年成績を競う大会が開かれるようになったのです。良い工夫は翌年にはほかのチームに取り入れられて次の土台になり、成果の出ない手法はふるい落とされていきます。

生物の進化にたとえると、脳をまねるというアイデアは、ずっと昔から生きていた生き物です。その生き物は、豊富な食料と、動き回れる体力と、生き残りをかけた競争のある生態系に放たれて、はじめて爆発的に進化を始めました。とくに画像を見分ける分野でこの進化が実を結び、2012年、ディープラーニングを使った手法が画像認識の大会で圧勝して、いまも続く第三次人工知能ブームの引き金になりました。

ここまでの要点

• ディープラーニングは、人間の神経回路をまねたニューラルネットワークを深く重ねたしくみです。
• 層を深くしたおかげで、注目すべき特徴を機械がデータから自分で見つけ出せるようになりました。
• 発想そのものは古くからあり、大量のデータと計算能力の向上と技術を競う大会という3つの条件がそろった2010年代に、一気に花開きました。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「脳をまねる古い発想が、データと計算力と競争の場を得て一気に花開いた」と押さえられていれば、この先の深掘りに進む土台はできています。

発展

ここからは、源流にあたる2つの研究、2012年の大会で起きた出来事、そして囲碁と生成 AI への広がりを固有名詞のレベルでたどります。

3. 畳み込みの原型となったネオコグニトロンと LeNet

深いネットワークの原型は、日本で生まれています。1980年ごろに福島邦彦（ふくしまくにひこ）が発表した、画像のパターンを認識するモデル、ネオコグニトロンです。人間の視覚の神経回路に着想を得たこのモデルは、役割の異なる2種類の部品を交互に重ねる構造を持っていました。特徴を抽出するS細胞と、位置のずれを許容するC細胞です。S細胞は、縦の線や斜めの線といった決まった手がかりが現れたときに反応します。C細胞は、その手がかりの位置が少しずれても「同じものが見えている」とみなして、ずれを吸収します。この2つの組み合わせを重ねていくと、多少ずれたりゆがんだりした文字や図形でも、同じパターンとして認識できるようになります。

この、特徴の抽出とずれの吸収を交互にくり返す構造は、現在の画像認識の中心にある畳み込みニューラルネットワークへ、特徴を取り出す畳み込み層と、位置のずれをならすプーリング層として受け継がれました。

その流れをくむのが、1990年代にヤン・ルカン（Yann LeCun）らが作った LeNet（ルネット）です。層を重ねて画像から特徴を取り出す構造をデータからの学習と組み合わせ、郵便番号のような手書き数字の認識で成果をあげました。深く層を重ねて画像を認識する技術は、1980年代から1990年代の時点で、すでにかたちになっていたのです。それでも当時できたのは、小さな数字を読み取ることまでです。何百万枚もの写真から学ぶための材料も、それを処理する計算の体力も、まだ世界のどこにもなかったからです。

理解の確認

ネオコグニトロンは、特徴を抽出するS細胞と、位置のずれを許容するC細胞を交互に重ねた構造で、畳み込み層とプーリング層の原型になりました。LeNet はその流れをくみ、手書き数字の読み取りを実際に動くかたちにしました。どちらも、データと計算力という条件がそろう前に生まれていた、早すぎた原型といえます。

4. ImageNet と ILSVRC が用意した競争の舞台

眠っていた原型をたたき起こす舞台は、データの側から用意されました。ImageNet（イメージネット）です。大量の画像の1枚1枚に「これは犬」「これは車」といった正解のラベルを付けた、大規模な画像データセットで、機械に画像を学ばせるための、かつてない規模の教材になりました。

この ImageNet を共通の題材にして、画像を見分ける正確さを競う国際大会が ILSVRC（アイエルエスブイアールシー）です。正式には ImageNet Large Scale Visual Recognition Challenge といいます。毎年開かれ、世界中の研究チームが同じデータで学ばせ、同じものさしで採点されるため、どの手法が本当に強いのかがはっきり示されます。

そして2012年、ジェフリー・ヒントン率いるトロント大学のチームが、ディープラーニングを使った手法 AlexNet（アレックスネット）で、従来型の手法に大差をつけて優勝しました。AlexNet は、ImageNet の膨大な画像と GPU の計算力で、LeNet から続く畳み込みニューラルネットワークの流れを深く大きく育てた手法です。深いニューラルネットワークが、画像認識を長年研究してきた強豪チームの成績を一気に追い抜いたのです。古い発想と豊富なデータと競争の場が、はじめて1点で交わった瞬間でした。この圧勝がディープラーニングの力を世界に知らしめ、第三次人工知能ブームの決定的な引き金になります。翌年からの大会の上位はディープラーニングを使う手法で占められ、認識の正確さは年を追うごとに塗り替えられていきました。

理解の確認

ImageNet は正解ラベル付きの大規模な画像データセット、ILSVRC はそれを共通の題材にして画像を見分ける正確さを競う国際大会です。2012年に、ジェフリー・ヒントン率いるトロント大学チームの AlexNet が圧勝し、第三次人工知能ブームの決定的な引き金になりました。

5. 探索と学習を組み合わせたアルファ碁

画像の次の衝撃は、2016年、囲碁の盤上から来ました。アルファ碁（AlphaGo）が、世界トップクラスのプロ棋士に勝利したのです。囲碁は打てる手の数が桁違いに多いうえ、盤面の形勢を数式で測る評価関数を人手で設計することも難しく、機械が一流の打ち手に並ぶのはまだ何年も先だと考えられていました。

その囲碁の人工知能で長く使われてきたのが、終局までランダムに打ち進めるプレイアウトをくり返し、その勝率で手の良さを見積もるモンテカルロ木探索でした。アルファ碁は、この探索に、ディープラーニングで鍛えた2つのネットワークを組み込みました。1つは、盤面から次の一手の確率を予測する方策ネットワーク（Policy Network）です。膨大な打てる手の中から、検討する価値のある候補手へ的を絞ります。もう1つは、盤面からその局面の勝率を予測する価値ネットワーク（Value Network）です。終局まで打ち切らなくても、形勢の良し悪しを見積もれます。

棋士にたとえるなら、方策ネットワークは「プロならこのあたりに打つ」と候補を絞る直感、価値ネットワークは盤面全体を見渡す形勢判断、モンテカルロ木探索はその先の展開を具体的に確かめる読みの力です。さらにアルファ碁は、自分自身との対戦をくり返して腕を上げる強化学習でも鍛えられました。1つの新技術の勝利ではなく、探索という古い流れと学習という新しい流れを組み合わせた勝利だった点に、アルファ碁の本質があります。

理解の確認

アルファ碁は、次の一手の確率を予測する方策ネットワークと、盤面の勝率を予測する価値ネットワークという2つのディープラーニングをモンテカルロ木探索と組み合わせて、2016年に世界トップクラスの棋士に勝ちました。探索と学習という別々の流れの技術を組み合わせた点が特徴です。

6. 見分ける段階から作り出す生成 AI への流れ

見分ける能力で人間に並んだディープラーニングは、その能力を新しい方向へも広げました。大量のデータからパターンを学ぶという能力は、「これは何か」を言い当てることだけでなく、それらしいものを新しく作り出すことにも使えるからです。この、学んだパターンにもとづいて文章や画像、音声などを新しく作り出す人工知能は、生成 AI と呼ばれます。

人が書いたような文章で雑談に付き合い、写真と見分けのつかない画像を描く生成 AI の広がりは、ディープラーニングの歴史が、見分ける段階から作り出す段階へ進んだことを示しています。脳の構造をまねるという1つの発想から始まった技術は、データと計算力と競争の場という生態系の中で進化を続け、いまも人工知能の新しい波を起こしつづけています。

理解度の確認