By Finbarr Moynihan
私たちはTVオーディオ革命の瞬間を目の当たりにしているといえます。深い没入感と高いパーソナライズを両立したマルチチャンネルサウンド。まさに新時代が幕を開ける瞬間です。そして、Media Tekと未来を切り拓く作曲家Hildur Guðnadóttirがオーディオ体験を再定義する道を新たに掘り起こし、テレビが多面的エンターテインメントハブへと進化する日もそう遠くないかもしれません。
「Chernobyl」、「Women Talking」、「Joker」、そして近日公開される「Joker 2: Folie a Deux」等への楽曲提供で多くの受賞歴を持つアイスランドの作曲家、Guðnadóttirにとって、次世代オーディオは、脚本とサウンド、キャラクターと作曲家間の繋がりを構築するオリジナルプロセスを連想させると言います。
「全体を大きくイマジンしてみてください」とGuðnadóttirは話します。「登場人物の世界全体をひとつのオーケストラのようにまとめたものですが、その登場人物たちにも、それぞれの小さな世界があるのです。」
同様に、MediaTekのチップはDolby Atmos FlexConnectのようなテクノロジーによって各自に最適なサウンドスケープを創り出す、試行錯誤のプロセスをリスナー自身が行うことを可能にします。昨年秋に発表されたこのシステムは、空間全体に配置したスピーカーに適応し、オブジェクトベースのマルチチャンネルサウンドで映画（Guðnadóttirの音楽）に命を吹き込み、リスナー周りの音を完全にコントロールします。
近い将来、同じ番組を観ている遠くの友人と、まるで同じ家の中で一緒にいるかのようにテレビのオーディオシステムを介して話すことも可能になるでしょう。オブジェクトベースのオーディオテクノロジー（音響技術）のおかげで、観賞中の友人の声はソファに投影され、まるで隣に座っているかのように感じることができるのです。
視聴者にとってオーディオがまったく新しいフェーズへ展開するのです。
音だけで景色が見えてきそうなほどのテクノロジー
オブジェクトベースオーディオは、マルチチャンネルサウンドの最先端技術です。録音、ミキシング、そしてサウンドフィールド(音場)内で複数チャンネルをまたがって再生される音声は、様々な周波数でストラテジックにアレンジされます。
Guðnadóttirの「Joker」やEnnio Morriconeの「Cinema Paradiso」などの秀でた芸術性を多くの人に届けるには、しかるべきテクノロジーが不可欠です。家庭での視聴であれば、なおさら必要でしょう。
高速接続と聴衆/スピーカーの空間認識を応用したテクノロジーは、カメラの前を猛然と走る車の音、あるいは「Women Talking」での情熱的なバイオリンの音色を、部屋のスピーカーからスピーカーへと、まるで目に見えるもののようにあなたの周りで音声を飛びかわせます。結果、単なる受け手という範疇を超えそのシーンの中に飛び込んだかのような臨場感が得られるでしょう。
オーディオとコネクティビティの幸せな融合のおかげで、現在ではこうした経験が可能になっています。かつては有線スピーカーや映画館での使用に限られていたオブジェクトオーディオが、Blu-rayで一般家庭に初めて登場したのが2010年代半ばで、その数年後にはストリーミングサービスが新たに登場しました。最新のWi-Fi規格、Wi-Fi 7に対応するDolby Atmos FlexConnectは、スピーカー間におけるオーディオ同期を150マイクロ秒未満で完了し、テレビとスピーカー間のレイテンシーを40ミリ秒未満、つまり1/25秒に短縮します。
これは、スクリーン上で起きたことの音声が前後左右からあなたに届くまでの時間が、想像を絶するほど（あるいは感知できないほど）短いことを意味します。MediaTekは、この史上初のオーディオ精度をスピーカーやWi-FiチップセットをはじめとするTVシステムオンチップ設計によって可能にします。しかし、人間の聴覚感度を超えることはそうたやすいことではありません。
MediaTekのSmart Home Business Group副社長、Alfred Chanは、「人間の視覚体系は、単一の視覚造形物に対してより寛容な傾向があります」と話します。「私たちの脳は、ビデオ画像を物体ごとに処理するため、画面上のピクセルを対象物に当てはめて理解します。4Kのような高解像度の画像では、1ピクセルが欠落していても気付くことはありません。」
しかし、音声は違います。音声の遅延は、視覚的な遅延に比べて気付かれやすいのです。「ほんのわずかな音飛びでも、画像とのズレや無音につながると、音の連続性の歪みとして人間の聴覚に感知されます。」と、Chanは言います。「しかし、MediaTekのテクノロジーは予測的オーディオサンプリングによって連続性エラーを補い、音を均一化して瞬間的な音飛びをリアルタイムで消し去ります。」
Dolbyの新システムでは、ユーザーはFlexConnect対応スピーカーを部屋全体に配置するだけで、あとはテクノロジーが処理してくれます。人間が2つの目を使って視差を認識し、対象物の奥行きを認識するのと同じように、FlexConnectはシステムの初期較正時に2つのマイクを使ってワイヤレススピーカーから音を検知します。そして、1分以内にテクノロジーが各スピーカーの位置を正確に特定し、その情報からテレビは部屋の空間マップを作成します。このレンダリングに基づいて、システムはそれぞれの音声オブジェクトを聴衆の周りにあるスピーカーに配置し、リアルで没入感のある立体的な360度オーディオ体験を提供します。
Media Tekのマーケティングディレクター、Vikram Shrivastavaは、オーディオ精度をここまで高めた初のシステムであるFlexConnectについて、一連のプロセスが「シームレスに処理される」と話します。
オーディオの新時代では、音は単純に部屋を満たすだけの存在ではなく、空間中を動き回り、ワクワクするような臨場感をもたらしてくれます。
レコーディング技術の歴史を紐解くと、周りに配置するスピーカーの数が1つ2つ…、と増えることで、まったく違う次元へと展開します。」– Hildur Guðnadóttir
養分としての芸術
FlexConnectが与えられた空間に応じてオーディオを制御しているとすると、Hildur Guðnadóttirは彼女自身の空間である、ニューヨークで得た豊かな経験からインスピレーションを受けていると言えるでしょう。ニューヨークは、彼女が普段経験しない孤独を感じられる場所ともいえます。
「街に生じるあらゆる音を吸収しています。」とGuðnadóttir。「すべての要素が、独自のホワイトノイズの中に溶け込んでいます。孤独について考えるとき、容易に思い浮かべるのは森の散策です。でも大勢の人の中に一人でいて、黙ってただ彼らを観察することも、とてもインスピレーションが得られます。私は森の中を一人で歩くことと同じくらい、マンハッタンを歩いて回ることが大好きです。」”
そういった観察が、Guðnadóttirの創作活動に影響を与えています。
「脚本を読んでテンポやシナリオ、状況を俯瞰的にイメージします。そうして世界を内面的に視覚化すると、非常に音楽的で音響的ではあるのですが、私はまず登場するキャラクターがどのような人物か十分に読み込んでから、監督や脚本家と話し合うようにしています。そうするとセットの中の出来事にぴったりと合う音楽が浮かび上がってくるのです。また、演技、撮影、動作、テンポ、そして全体の雰囲気それぞれの要素の関係性を考えて試行錯誤しつつ、ああでもないこうでもないと有意義な時間を過ごしています。」
こうして生み出されたのが、悪名高い映画「Joker」で主人公Arthur Fleckがソロダンスで彼の中に発現したJokerを表現した、「バスルームダンス」です。俳優のJoaquin PhoenixはGuðnadóttirの音楽からインスピレーションを受けていたと言われており、彼が演じたFleckは、内面の穢れを織り交ぜたことで、シンプルながら映画を象徴するシーンとなりました。
実際、Phoenixはその演技でアカデミー賞主演男優賞を受賞し、Guðnadóttirはアカデミー賞作曲賞を受賞しました。
アートとテクノロジーの融合
Guðnadóttirの「Joker」や木管楽器の音色が光るEnnio Morriconeの「Cinema Paradiso」（私の個人的なお気に入り作品です）など傑作を作曲するにあたり、秀でた芸術性を多くの人に届けるには、しかるべきテクノロジーが不可欠です。個々のスクリーンにユーザーの視線が飛び交う家庭といったような場所での視聴であれば、なおさら必要でしょう。
しかし、複雑化しパーソナライズされたエンターテインメントにおいてTVがそのハブの役割を担うようになれば、テクノロジーとアートの融合は私たちの音の体験方法を再構築し、スマートフォンでの動画視聴に代わる、より豊かな選択肢を提供することになるでしょう。次世代オーディオは、映画館レベルのサウンドを実現するだけでなく、スクリーン上のマルチチャンネルアクティビティの中でユーザーの音声コマンドを検知し、応答することも可能になります。
Guðnadóttirは、レコーディングする立場からこの変遷を目の当たりにしてきましたが、今後も関わりたいと強く望んでいます。
「レコーディング技術の歴史を見ると、スピーカーの数が1つから2つになることで新しい世界が広がります。」と彼女は話します。「さらに周りに配置するスピーカーが増えていくことで、まったく違う次元が展開される。私はMediaTekが進む先に切り拓かれる、新たな可能性にワクワクを抑えられません。」
MediaTekのテクノロジーがどのように没入型体験をもたらすかについては、Visionaries on Vision Series（Hildur Guðnadóttir編）をご覧ください。[リンク挿入]
Finbarr MoynihanはMediaTekのCorporate Marketing GM兼副社長です。
