音声生成

音のデータを作り出すタスクの総称

音声生成(Audio Generation)とは、人の話し声や音楽といった音のデータを、機械学習モデルに新しく作り出させるタスクの総称です。1つの決まった用途を指す言葉ではなく、音を出力として生み出す多くの応用をまとめて呼ぶ言葉だと捉えると理解しやすくなります。

WaveNetを提案した論文(van den Oord et al.)は、音声生成に依拠する応用の例として次のものを挙げています。

• テキストからの音声合成(TTS: Text-to-Speech)
• 音楽
• 音声の品質向上(speech enhancement)
• 声質の変換(voice conversion)
• 音源分離(source separation)

論文は、WaveNetがこうした多くの応用に取り組むための汎用的で柔軟な枠組みになると述べています。つまり、文章を読み上げる音声を作ることも、音楽を作ることも、雑音の混じった音声をきれいにすることも、ある人の声を別の人の声に変えることも、混ざった音を音源ごとに分けることも、音声生成という広い領域に含まれるということです。

3つの実験に見る音声生成の現れ方

論文は音声をモデル化する性能を測るため、3つのタスクで評価しています。テキストに条件づけない複数話者の音声生成、TTS、音楽の音響モデリングです。ここで注意したいのは、テキストを与えて読み上げさせるTTSと、テキストを与えない音声生成とが、別のタスクとして区別されている点です。

とくに興味深いのが、テキストに条件づけない自由形式の音声生成の実験です。この実験では、CSTR voice cloning toolkit(VCTK)の英語の複数話者コーパスを使い、モデルには話者だけを条件として与えました。話者のIDをone-hotベクトルの形でモデルに入力する方法です。データは109人の話者による44時間分でした。

モデルはテキストを与えられていないため、何を話すかは決まっていません。その結果、実在しない単語でありながら人間の言語らしく聞こえる音声を、なめらかに、現実的に聞こえる抑揚とともに生成しました。論文はこれを、言語や画像の生成モデルと似た性質だと説明しています。生成されたサンプルは一見すると本物らしく見えますが、よく見ると明らかに不自然だという性質です。

条件づけによる生成対象の切り替え

音声生成では、何を条件として与えるかによって生成する対象を切り替えられます。論文によれば、1つのWaveNetが多くの異なる話者の特徴を同等の忠実度で捉え、話者の識別情報を条件として与えることで話者を切り替えられました。また、音楽を対象に訓練すると、新規で、しばしば非常に現実味のある音楽の断片を生成できたと報告されています。

長い時系列を扱うという課題

生の音声は非常に細かい時間の刻みで並んだ長い時系列データです。そのため、生の音声を生成するには、離れた時点どうしの関係、つまり長距離の時間的な依存関係を扱う必要があります。論文はこの課題に対し、拡張された因果的畳み込み(dilated causal convolutions)に基づく新しいアーキテクチャを開発し、非常に大きな受容野を持たせました。テキストからの音声合成という具体的なタスクの詳しい説明は音声合成の項目、この課題を解く具体的なモデルの仕組みはWaveNetの項目で扱います。