テクノロジーは｢クリエイターのイメージ｣を実現するためのツール。
電気自動車｢VISION-S Prototype｣、立体的な音場を実現する新しい音楽体験｢360 Reality Audio（サンロクマル・リアリティオーディオ）｣など、ソニーの最先端テクノロジーがふんだんに盛り込まれていることで話題になった、アメリカのアカペラグループ・ペンタトニックスと、Little Glee Monster（以下、リトグリ）がコラボした楽曲｢ミッドナイト・イン・トーキョー feat. Little Glee Monster｣のMV。
その制作で採用されたのが、ソニーPCL（ソニーグループで映像コンテンツ制作および制作技術開発を専門とするクリエイティブカンパニー）が制作ソリューションを提供する｢バーチャルプロダクション｣という最先端の撮影手法です。
Video: Pentatonix / YouTube
バーチャルプロダクションでは、3DCGの背景を大型LEDディスプレイに表示しながら、位置センサーを付けたカメラで現実空間にあるオブジェクトや人物を撮影します。位置センサーによって把握したカメラの位置やズームなどと連動した情報をLEDディスプレイに繋がったPCに伝送することで、カメラが撮影している画角に合わせて、現実空間での撮影と同じように背景の映像を変化させることができます。
LEDディスプレイに映る背景は、CGを使って現実にはあり得ないような世界観のものとして作ることもできれば、逆に現実に寄せていくこともできます。しかもグリーンバックとは異なり｢背景｣があるため、オブジェクトの映り込みも後処理で作る必要なし。CGと実写を組みあわせた映像を、リアルタイムで撮影することができてしまうんです。
（詳しくは、ソニーPCLの研究開発スペースにお邪魔した際の取材記事をご覧ください↓）
｢ミッドナイト・イン・トーキョー feat. Little Glee Monster｣のMVでは、ソニーのVISON-S Prototypeに乗り込んで夜の東京の街並みを駆け抜けるリトグリメンバーや、彼女たちがポリゴン化したペンタトニックスメンバーと出会う様子が描かれます。このような表現は、どのようにしてバーチャルプロダクションを使って生み出されたのでしょうか？
MV監督の牧野惇さんと、本MVでVPディレクターを務めたソニーPCLディレクターの越野創太さんにお聞きしました。
バーチャルプロダクション＝監督のイメージを実現させるためのツール
Photo: SHINGI FUMITA（fort studio）
（左から）本MVのVPディレクターの越野創太さん（ソニーPCL）、MV監督の牧野惇さん
──今回のMV制作では、どのようにバーチャルプロダクションを使用されたのでしょうか？
越野：車の走行シーンを撮影する場合、道路使用許可を取り、実際の現場を数時間押さえて、たくさんの機材を移動させて、車を牽引しながら撮影するのが通常です。
でも、今回のバーチャルプロダクションを使用しての撮影では、実写＋CGで作った街並みをLEDディスプレイに映すなどして、スタジオの外の世界観をスタジオの中に持ってくることで、スタジオ内で車の走行シーンを再現したんです。今まで屋外でしかできなかった撮影が、スタジオ内でできたということですね。
Photo: ソニー・ミュージックレーベルズ
実際の撮影のようす。東京の街並みが映されたLEDパネルで囲まれた中央に、VISON-S Prototypeが配置されており、中には実際にリトグリメンバーが乗っている。
──バーチャルプロダクションでのMV撮影に対する、アーティストさんの反応はいかがでしたか？
牧野：グリーンバックだと、何もないところを指差して演技を指示するかたちになりますが、背景がないから演技に気持ちを入れることも難しい。でもバーチャルプロダクションだと、自分がそこで何をやっているか、空間の雰囲気でわかりやすいこともあって、リトグリメンバーも車内のシーンではすごくノリノリでした。
車内から外を見るとちゃんと本物のような街並みが再現されているので、それを自分の目で見て認識できることも、心理的にポジティブな影響を与えていたように思います。
GIF: Pentatonix / YouTube
また、ペンタトニックスがCGで登場するシーンがありますが、そのシーンはバーチャルプロダクションとCGを一緒に使いました。MVの映像上ではペンタトニックスメンバーの目線の高さに合わせてポリゴンが浮かんでいて、それとリトグリが相対する形になっていますが、スタジオではリトグリのパートをトラッキングでちゃんと撮影しています。
ただ撮影時は、スタジオの中でカメラが動いたり、LEDディスプレイに映る背景も動いているけど、完成したMVを見ないとバーチャルの部分と実写の部分が連動していることがわからない。リトグリメンバーは、自分が何をしているかちょっとわかりづらかったかもしれません。
越野：とはいえ、実際にはスタジオにはターゲットマークもあるので、なんとなくは最終的な映像のイメージのことは理解していただいていたと思います。
GIF: Pentatonix / YouTube
スタジオ中央に配置されたカメラ
カメラには、光学式カメラトラッキングシステムが搭載されており、カメラの位置情報やレンズの焦点距離がシンクロしています。
スタジオの天井に見えるいくつもの◯は、現実空間をトラッキングするためのセンサー。
システムについて説明してくれる越野さん（ソニーPCL）
──撮影する側としても手応えは違うのでしょうか？
牧野：グリーンバッグだと、合成するときに映り込みをどう処理しようか…とかの心配ごとが多いんです。だから、いつもは撮影が終わっても、まだようやく半分終わった…ぐらいの気持ち（笑）。その点について、今回は安心して撮影を進めることができました。
越野：牧野さんに｢現実にはない世界観｣を作っていただいたので、アーティストさん含めて、僕らスタッフも映像のイメージを事前に理解しておくことがすごく重要でした。そうしないと、結局は先ほどのグリーンバックの話のように｢このひとは、どこで何をしているのか｣という部分で、監督と同じイメージを持つのが難しいので。
ただ今回は、車内から見える背景を事前にテストするなどして、制作現場としても監督のイメージに近いものをお渡しすることができました。あと、背景の街の中には実際に存在する建物もあるのですが、そういった人の目に留まりやすいものが実際に動いているのを見ると、リアリティが感じやすく、監督の意図を理解する助けになると思います。
──逆に、今回の撮影ではどんなことに苦労しましたか？
牧野：MVの最初のカットは東京の外景なんですが、これは実際に外で撮影した実写映像をデジタル加工して使っているんです。その実写映像の撮影が予想以上に時間がかかりましたね。真夜中がテーマのMVなので、朝が来て空が青くなりだすと使えないので焦りました。
でもやっぱりバーチャルプロダクションに助けられた部分は多くて、外景の撮影は緊急事態宣言中に行ったので、街灯が普段より暗くなってたんですよ。バーチャルプロダクションでなければ、とても暗い映像のMVになってしまっていたと思います。また、スタジオ撮影でテイクを重ねることもできたしアングルにもこだわれたので、VISION-S Prototypeへの映り込みもすごく綺麗に入ってます。しかし、実際に公道で撮影していたら、時間や物理的な制約があるから、あそこまで綺麗に映り込みを出すのは難しかったと思います。
GIF: Pentatonix / YouTube
──ペンタトニックスのポリゴン化シーンはどのようにして制作されたのでしょうか？
牧野：あれ、実はグリーンバックで撮影したペンタトニックスの動画をダンサーさんに見せて、その方にメンバー全員分の癖を覚えてもらったうえで、モーションキャプチャーして作ったんです。
今回、街のCGはソニーPCLさんに作っていただきましたが、ポリゴン化部分に関してはモンブランピクチャーズさんにお願いしています。僕とプロデューサーさんとダンサーさんの3人でスタジオに行き、そこでペンタトニックスが東京の街を歩くシーンやサビの部分で踊るシーンなどをモーションキャプチャーして、一日がかりで撮影しました。
GIF: Pentatonix / YouTube
──バーチャルプロダクションを使ってMVを制作するとき、どのような部分に魅力を感じていますか？
牧野：MVに出演する人が、そこでの演技や振るまい方に自分の気持ちを乗せやすいところですね。
越野：MV監督が描いたいろいろなイメージを実現させるためのツールとして、テクノロジーはあると思うんです。テクノロジーだけが発展しても、実際に使われないと意味がないし、監督が持つイメージが世に出ていかないと、いくら｢このテクノロジーがすごい｣と言っても、ただこちら側が盛り上がっているだけで終わってしまうんです。
そのスタート位置として、監督が表現したいものを一緒に実現していく作業はすごくクリエイティブだし、意義があることだと思っています。
──今回のMVでは、バーチャル要素と実写要素が映像上でミックスされています。バーチャルとリアルが結びつくことで起こる化学反応をどう捉えていますか？
牧野：このMVが｢世界で初めての実写とCGを合成したもの｣というわけではないので、めちゃくちゃ新しいということではないと思います。ただ、バーチャルプロダクションは、テクノロジーの面では最先端ですし、グリーンバックよりも映像の合成のされ具合に関しては、より自然になったと思っています。
それと、MVに限らずどんな映像を制作するにしても、撮影時間には制限があるので、あともう少しクオリティをあげたいと思っても、絶対諦めないといけない時があるんですよね。だけど今回に関しては、テイクを重ねることができたので、表情などの細かい部分まで、自分のイメージする感じを作れた実感はありましたね。
越野：実はバーチャルプロダクションは、海外では再撮用としてもよく使われているんです。
現場で多くの人が関わっているなかで、アーティストさんや物を動かしてもう1回撮り直したいとなることはよくあることですが、実際に撮り直すのは意外とコストがかかる。バーチャルプロダクションは、セットとして作ったものをタイムカプセルみたいに保存して、それをもう1度引っ張り出してきて再度撮影できるので、狙った画を撮り直しやすい手法なんです。
そういうふうに考えると、今後バーチャルプロダクションは、ロケーションのひとつの選択肢としても使われるようになっていくと思います。
映像にも“フック”になるものが必要
Video: LittleGleeMonsterYT / YouTube
MVメイキング映像
──今回のMVは、｢360 Reality Audio｣の疑似体験版としても公開されていますが、そういったテクノロジーが使われることで、MVのあり方は今後どのように変わっていくと思いますか？
牧野：YouTubeでも立体音響で楽しめる動画がたまにありますが、そういう動画はずっと聴いていられる感じがするし、その空間にちゃんといるような没入感がありますよね。
今は、僕も含めてみんなが映像を見る集中力がなくなってきていると思います。だから注意を引く要素は絶対に大事だし、これからは映像にもフックになるものが必要。その意味では、高音質化はMVにとってはひとつのフックになり得ると思います。
越野：最近のYouTube動画を見ていても、カット割がすごく早かったりして、いろんなところで映像にインパクトを出すような作り方になっています。時代がそういう方向に向かうのであれば、MVも、立体音響やVR/ARなどのいろいろな新しいテクノロジーを取り入れながら、見る人たちとどういう風にコミュニケーションしていけるかを考えて作る必要があると思います。
──映像クリエイターとして、バーチャルプロダクションに求めたい新機能は？
牧野：僕は、パペットアニメーションもよくやるのですが、パペットアニメーションでは一番奥の面は平面なので、奥行きがなく世界がどうしても狭く見えてしまうんです。だから、その一番奥の面が立体的になってくるとさらにいいなって思って。
CGのストップモーションアニメーションでもできないことはないんですが、僕は、YOASOBIの｢群青｣のMVでやったように、ずっと手で人形を操って、それを撮りっぱなしで撮影することが多いので、背景込みで立体的なものが作れると映像にすごく奥行きが出てくるなと思いました。
──今後のバーチャルプロダクションの展望について聞かせてください。
越野：今回のMVでは、実際の東京の夜を再現するシーンもありましたが、ペンタトニックスとリトグリのメンバーが向かい合うシーンでは、現実ではあり得ないような世界観も作っていただきました。
日本はマンガやアニメのカルチャーも根強いので、地球ではない星や遠い国、さらには現実には存在しない場所のような世界観を作るクリエイターが増えていくと思います。
そうした、実際にこのテクノロジーをツールとして使うクリエイターたちが新しい使い方を発見し、また別のアイデアに繋げていってくれるはずです。今まで見たことのない世界観やそれを作るクリエイターを、バーチャルプロダクションが繋げてくれるとうれしいですね。
Photo: SHINGI FUMITA（fort studio）
｢ミッドナイト・イン・トーキョー feat. Little Glee Monster｣収録の
ペンタトニックス最新アルバム『ラッキー・ワンズ・デラックス』試聴リンクはこちら
Adblock test (Why?)
からの記事と詳細 ( バーチャルと現実をリアルタイムで合成する…ってどういうこと？ ｢バーチャルプロダクション｣ディレクターとMV監督にきいてみた - GIZMODO JAPAN )
https://ift.tt/3nLJ69m
科学＆テクノロジー
