メ環研の部屋では、前回（2022.11.01）に引き続き、今回も「メタバース」についての議論をご紹介します。

メタバースやVRといった3D映像空間においては、没入感や実在感について多くの議論がなされています。さまざまな関連技術が進歩、刺激し合いながら発展を遂げているなか、3D空間を演出するクリエイティブの最先端は、どうなっているのでしょうか？

今回のゲストは、最先端演出や表現技術を探索、開発し、映像作品に積極的に取り入れている元NHKプロデューサーの伊藤博文氏と、海中の360度VR撮影も手がけるカメラマンの広瀬睦氏。お二人と共に、3D空間演出クリエイティブについて考察します。モデレーターは、メディア環境研究所の森永真弓上席研究員です。

メタバースで没入感は実現できるのか？

森永真弓（以下：森永）：以前、スタジオで渋谷ハチ公前の360度映像を見せていただきましたよね。そこでは自分が足踏みしているだけで、まるで渋谷ハチ公前スクランブル交差点の雑踏を実際に歩いているような没入感があって。

広瀬睦（以下：広瀬）：あの映像には「インカメラVFX」という撮影手法が使われています。簡単にいうと、カメラの動きに背景が追随するテクノロジーです。前景にいる出演者と背景を、シームレスに統合することができます。背景は、LEDモールまたはグリーンバック。複数台のカメラを使うことによって、背景を3Dにできるのが画期的なんです。

森永：こういった映像はどれくらいの精度で撮ると、映像として「保つ」感じになるのでしょうか？

広瀬：VR映像は、地球儀を展開した横長地図のイメージで、その長辺を4K、8Kと表現します。ただ、たとえ12Kの映像だったとしても、実際にVRとして見るのは表面にある1/4サイズであれば3Kになってしまいます。そのため、8Kやそれ以上の精度が必要になってきます。

渋谷のスタジオで使っていたのは、「Insra360TITAN」というバスケットボールほどのサイズの11Kの360度カメラです。

森永：一方で、VRゴーグルをかけてメタバースに入る場合、ゴーグルによってある程度の没入感があるとはいえ、映像の密度は高くありません。自分自身のアバターの解像度が低いから受け入れられているというのもありますが。今後、空間を構成する要素の精度を上げることはできるのでしょうか？

伊藤博文（以下：伊藤）：正直、今の端末の能力では難しいでしょう。最先端のグラフィックの性能を得るためには、ワークステーションとGPUボードが必要です。そうなると、端末の値段が最低30万円くらいかかってしまう。そのため、みんなが体験できる状況にはなっていません。

伊藤：一方で、Googleが今取り組んでいるのは「イマーシブストリーム（※）」というGPUの処理をクラウドで行い、端末は映像を流すだけに留める手法です。当面は、このやり方に頼ることになるでしょう。そうでなければ、メタバースの時代は訪れないと思います。

※作成した拡張現実を数百万ものモバイル デバイスにストリーミングできる、Google Cloud提供のソフト。アプリをダウンロードしなくても、没入感があるインタラクティブな体験の提供が可能になる。

広瀬：そうですね。3D空間で映像をうまく動かすためには、解像度を軽くする作業が必要です。Webに載せる映像も小さくしてきましたが、回線が速くなったことによって高画質で見られるようになってきました。端末の進化を待つのと同時に、やり方を変えることも必要だと思います。

VR空間のテレビ演出は「いけてないゲーム実況」に見えている？

伊藤：最近、メタバースを紹介するテレビ番組が増えていますが、絵があまり魅力的でないものが多い気がしています。ゴーグルをかぶっている人には面白いかもしれませんが……。30年近く取り組んでいるVRの到達点がこれか、と落胆しています。

森永：最近、テレビ番組のVR空間で出演者がやり取りしている様子が紹介されるのを見たという大学生は「イケてないゲーム実況を見ている気分になる」と言っていました。3Dゲームで遊んでいる配信者の動画を見慣れている彼らにとっては、出演者が3D空間を楽しんでいる様子を流しているだけでは「イケてない」と映っている。「最新！」には感じられないというニュアンスでした。

今は、「VR空間の中で何をやるか」と同時に、「メディアがVR空間をどう演出して紹介するか」という問題を抱えているのかもしれません。

伊藤：1つ言えるのは、私たちが先端でやっているものに比べると、再生資源の問題から、かなりみすぼらしくなってしまっていますよね。

森永：現状では、技術的にまだまだ演出に堪えないのですね。メタバースや3D空間とテレビの関係を考えたときに、一つは番組の演出として、いつか視聴者の手元でもエンジンが整ったときに、来たるべき未来世界を見せるための、ものすごく高精細な3D空間の没入感ある表現を探求する、というテーマがあります。もう一つはメタバース内にテレビビジネスが参入していくという話です。

今は特に後者の、テレビビジネスがメタバース内で何ができるかという話をされていることが多いですよね。しかし、まだまだヘッドセットも高いのでユーザーも爆発的に増えるほどではない。メタバース内で提供するコンテンツは、テレビ演出を極めたクリエイターからすると、高精細にはできないし、新しい演出にまではたどり着けない。わかりやすい成果を出せないまま、何が正解かもわからない。私も含めてですが、本当にみんながメタバースに行くのか、メタバース空間でみんなが主体的に活動したいのか、疑問を持ちながら試行錯誤している印象があります。

そんな現状で、メタバース空間へ一人ずつログイン、ダイブインという方式に拘る必要があるのだろうかという感覚もあります。多くの参加者とともに没入感がある体験をしてもらうことを考えた時、案外劇場やスタジオに来てもらって、超高精細のコンテンツ体験をしてもらうほうが早くて、その方が人も集まるし面白いのではないかと思いました。

技術の急激な革新とそれに伴う求められる人材の変化

伊藤：2022年になってから、技術革新が次々に起こっています。特に、1〜2年前に論文発表された新規視点の画像生成ネットワーク「NeRF（※）」はすでに実用化されている。8月23日にイギリスのStability AIがオープンソースにしてからは、ものすごい勢いで発展しています。

※「Neural Radiance Fields」の略。さまざまな角度から撮影した複数の画像素材をもとに、三次元形状を復元。撮影していない新たな視点からの画像を生成できる。

森永：オープンソースになり、みんながこぞってAIを教育し、精度が著しく向上した。AI自体の能力だけでなく、AIにどんなデータを与え、学習させるかも重要だとわかりますね。

伊藤：テキストを画像に変える「text to image（※）」という機能は、画像編集・映像編集ソフトにもすでに実装されています。割とすぐ、みんなが使える状態になっていくでしょうね。

※条件文を入力することで、現実に存在しない画像をAIが自動生成するモデル。

森永：デザイナーや編集に求められる素質も変わるかもしれないですね。

伊藤：そうですね。「text to image」は「ガチャ」みたいなもので変な絵もたくさん出てきますから。その中から試行錯誤して、求めているものを表示させるための指示を選びだせるセンスやデザイン感覚が重要になってくると思います。

森永：「ガチャ」という表現、面白いですね。ゲーム会社の方と話していたときに、「据え置き型ゲーム開発者で優秀だった方が、ソーシャルゲームのほうにいくと、うまくいかないことが多い」と聞きました。

それは能力の問題ではなく、作り方が全く違うから。据え置き型ゲームは質の高い完成形クリエイティブを自分の中から生み出すものですが、ソーシャルゲームはユーザーの反応データを見ながら運用していくものだと言うんです。

同じように、AIの挙動を見ながら試行錯誤しつつ編集するパターンと、自分の中にあるスキルで編集するパターンとで、求められるスキルが異なってきそうですね。

伊藤：今のテレビや映画の制作手順が、技術革新に追いついていません。例えば、デザイナーに頼むと1カ月かかるデザインが、「text to image」を使えば9秒でできてしまう。

また、工夫すれば従来の半分以下のコストで、映像制作ができてしまう。例えば、インカメラVFXのスタジオは高くて使えないと思われがちです。しかし、実際はそうでもなく、グリーンバックと5台のカメラを使えばVR的な映像を撮影できる。そうやって最新技術を駆使すれば、イマーシブな映像も従来とは違うコスト感覚で作れることに気づかないと、生き残れないのではないでしょうか。

伊藤：例えば、私がプロデュースした最新テクノロジーを深掘りする番組「Deep.TV.art」では、カメラマンも照明さんも自分で機材を買っている方々ばかりでした。例えば、動画編集ソフト「DaVinci」なんて3万円で最高峰のものが買えるんです。ソファだけが立派な放送局の編集スイートにある古い機材よりも、自分で買った機材のほうがよっぽど先端的だからです。

森永：個人なら「これいいかも」と思ったらすぐに買えますよね。その点、会社だとGoProを１台買うにも書類や理由が必要で……。気軽に買える環境ではありません。その結果、特に大きな組織であればあるほど、使っている機材が古いまま維持されてしまうこともありそうです。

時代に追いつくため、あるいは最先端でいるために、いかに軽やかに機材やソフトを購入できる仕組みを作るかも重要なテーマになりそうです。

技術のキャッチアップとリスキリングが鍵

森永：技術が変わっていくなかで、組織内に最先端を常にキャッチアップしており詳しい方がいない場合、どう育てていけばいいのでしょうか？

広瀬：私も3DCGには縁がなかったので、最初は「無理だな」と思っていました。しかし、リアルな素材をバーチャル空間で生かすのに、「写真や動画を3DCG化すればいい」と気づいたんです。ゲームの世界では、以前から小物を写真で撮って3DCGにする「フォトグラメトリー」という技術が活用されていましたから。

いろいろ試した結果、今は一眼レフで撮影し、Reality Captureというソフトウェアを使っています。精密に撮った写真は高精細な3DCGになるからです。新しい技術の登場で、さらに少ない素材から3D空間を作れるように進化もしています。

小さいサイズのお菓子の家を作って回転台にのせて、あらゆる方向から撮って3DCGを作ったこともあります。こういうやり方であれば、今のテレビ局のスタッフや機材でも、簡単にできますよね。

広瀬：こういったテクノロジーは、iPhoneに「LiDAR（※）」が搭載されたことで、よく知られるようになりました。

※近赤外光や可視光、紫外線を対象物に照射し、その反射を光センサーで捉えること、離れた位置から対象物との距離を測定する方式。Light Detection And Ranging（光による検知と測距）の略称。

伊藤：今必要とされているのは、業界を越えていろいろな技術や手法を学ぶことではないでしょうか。特にAIに関しては、今すぐ学んだほうがいいと思います。1時間位の講座でも、ある程度のリテラシーが身につきますよ。私も、AIやCGなどを教える講座を開催しています。

森永：もともとテレビ局には優秀な方が集まっていますし、面白いことをやりたいと思っている方たちの集団です。いろいろな挑戦が柔軟にできるようになれば、どんどん変わっていきそうですね。

伊藤：30年前、コンピュータグラフィックスを番組のなかに入れ始めました。あの時代と今を比べると、単純計算で1000～1500倍くらいは処理能力が上がっています。一方で、それに見合う制作体制ができておらず、結局は30年前と同じやり方でやっている。この部分は、ドラスティックに考え直した方がいいと考えています。

森永：もしかしたら、誰にも言わずに密かに学んでいる人が社内にいるかもしれないし、独立して個人でやっている人もいるかもしれない。そういう人たちとどうつながって、どう能力を生かして取り込んでいくかも重要ですね。

伊藤：それぞれの社内で人材をどう再配置するか。放送やメディア、メタバース業界でもリスキリングに取り組むべきなのかもしれません。そうでないと、本当に訴求力のあるメタバースは出てこない気がします。

森永：今、伊藤さんとご一緒に取り組んでいるプロジェクトでは、一般的な広告会社の案件としては珍しい取り組みをしていて。「ここの部署の人が混ざっているの？」というくらい面白い人材の配置をしているんですよね。そういうことが自由にできると面白いものができてくるのではないでしょうか。

まとめ

メタバースを支える空間演出や撮影技術に目線を向けた、今回の「メ環研の部屋」。イベント終了後のアンケートやメールでは、機材購入がなかなかスムーズにいかない現状についてなど、テレビ業界の参加者から多くの共感の声が寄せられました。

常に新たな技術へ関心を持ち、学び、自らをアップデートしていく姿勢が、個人にも組織にも求められているようです。

（編集協力＝水口幹之＋鬼頭佳代／ノオト）

登壇者プロフィール

※掲載している情報／見解、研究員や執筆者の所属／経歴／肩書などは掲載当時のものです。