マルチメディア技術

ねらい

文字、音声、画像、動画をコンピュータで扱う仕組みを学びます。このレッスンを終えると、メディアごとの代表的なファイル形式を使い分け、ラスターデータとベクターデータの違い、可逆圧縮と非可逆圧縮の違いを説明できるようになります。

マルチメディアとは

文字、音声、画像、動画といった複数のメディアをデジタル化して統合し、対話的に扱えるようにしたものをマルチメディアといいます。文書中のリンクで別の情報へ飛べるハイパーメディア、複数のメディアを編集して統合するオーサリング（そのための環境をオーサリング環境）、動画と音声をひとつのファイルに収める入れ物であるコンテナフォーマット、ダウンロードの完了を待たずに再生を始めるストリーミングが関連する概念です。文書の交換にはPDFが、高精細な映像には4Kや8Kという解像度の規格が使われます。

音声処理

音声の波をデジタル化する基本方式が、前に学んだ標本化・量子化・符号化によるPCM（パルス符号変調）です。代表的な音声ファイル形式を整理しましょう。

MIDIは録音ではなく「楽譜の指示」を持つ形式なので、音声波形の形式とはデータの性質がまったく異なります。

静止画処理

ラスターデータとベクターデータ

画像の表し方には2つの方式があります。ラスターデータ（ビットマップデータ）は、画像を画素の集まりとして表します。写真に向きますが、拡大すると輪郭が粗くなります。ベクターデータは、図形を座標や数式で表します。いくら拡大しても輪郭が滑らかなままなので、ロゴや図面に向きます。

代表的な静止画ファイル形式

写真ファイルには、撮影日時やカメラの設定などの付帯情報を収めるExifという規格があります。

動画処理

動画は、静止画（フレーム）を高速に切り替えて動きを表します。1秒あたりのフレーム数をフレームレートといいます。動画は情報量が莫大なため、圧縮技術が本領を発揮する分野です。代表的な規格に、MPEG、広く使われるH.264、その後継で圧縮効率を高めたHEVC（H.265）があり、ファイル形式にはQuickTimeやAVIがあります。

情報の圧縮・伸長：戻せるか、戻せないか

圧縮の目的は、効率的なデータ保存とネットワーク負荷の軽減です。縮んだデータを元に戻すことを伸長といい、元のデータ量に対する圧縮後の割合を圧縮率といいます。圧縮には決定的な分かれ目があります。

1. 可逆圧縮は、伸長すると元のデータに完全に戻せる方式です。文書やプログラムのように1ビットも欠けてはならないデータに使います。ZIPやPNGが代表です。
2. 非可逆圧縮は、人間が気づきにくい情報を捨てて大きく縮める方式です。元には戻せませんが、写真のJPEGや動画のMPEGのように、見た目や聞こえ方が保たれれば十分な用途で使われます。

ファクシミリの画像圧縮に使われるMRやMMRという方式も、用語として押さえておきましょう。

例題

次の問いに答えてください。

問1 音そのものの波形ではなく、楽器の演奏情報を記録する形式は何ですか。

問2 伸長すると元のデータに完全に戻せる圧縮の方式を何といいますか。

解答と解説

問1の答えはMIDIです。WAVやMP3が音の波形を収めるのに対し、MIDIは「どの音をどの長さで鳴らすか」という指示を収めます。

問2の答えは可逆圧縮です。文書やプログラムのように欠損が許されないデータに使います。JPEGやMP3は非可逆圧縮の代表です。

応用

本試験を意識した問題を解いてみましょう。

問 図形を座標や数式で表すため、拡大しても輪郭が粗くならない画像データの形式はどれでしょうか。次の中から選んでください。

1. ベクターデータ
2. ラスターデータ
3. ストリーミング
4. コンテナフォーマット

解答と解説

答えは1のベクターデータです。図形を「点と点を結ぶ線」のような数式で持つため、どれだけ拡大しても計算し直して滑らかに描けます。ロゴや図面に向いた形式です。2のラスターデータは画像を画素の集まりで持つ形式で、拡大すると画素の粗さが見えてしまいます。3のストリーミングはダウンロードしながら再生する配信の方式であり、画像データの形式ではありません。4のコンテナフォーマットは動画や音声をひとつのファイルに収める入れ物の形式のことで、図形の表現方式ではありません。