いま、バーチャルヒューマンの領域で開発をする意味とは　技術者集団・BASSDRUMに聞く

提供＝BASSDRUM

　テクニカルディレクターを中心に集めた職能コミュニティ・BASSDRUMが、バーチャルヒューマンプロジェクトの始動を発表した。【写真】実際の「バーチャルヒューマン」制作風景　様々な領域におけるクリエイティブを手がける同コミュニティが、新規事業「XR SQUAD」を立ち上げるなど、XRやバーチャルヒューマンの領域により一歩踏み込んだ理由とは。テクニカルディレクターの清水幹太氏と、同プロジェクトの鍵を握る小川恭平氏に、それぞれの視点を踏まえて話してもらった。（リアルサウンドテック編集部）・「おもしろい会社があるよ」の一言で、CG未経験のまま上海へーーまずは小川さんの経歴と、現在携わっている仕事についてお話しいただけますか？小川：学生のころから漫画や小説を扱うエンターテイメント業界にいて、編集者 兼 エンジニア 兼 デザイナーみたいな感じで、何でもやってました。そこでウェブサイトを作ったりデザインしたりするうちに、もっとCGで作品を作りたい、という気持ちが湧いたんです。それをBASSDRUMの清水（幹太）に相談したら「上海におもしろい会社があるよ」と言われて、そのまま上海に行くことになりました。中国で人気ナンバーワンと言われてるバーチャルアイドルのIP（知的財産）を管理してる会社に入って、ミュージックビデオなどの制作をしていました。CGは未経験でしたが、ほぼ独学で身に付けたんです。　ただそのあと、進みたい方向が見つかったところで、新型コロナウイルスの影響で帰国することになりました。　現在はBASSDRUM所属で、主にXR関連や、Webサイト・サービスの構築のテクニカルディレクションの仕事を半々くらいの割合で行っています。ーー中国は世界的技術大国として躍進し続けていますが、現地でお仕事をされるなかで、XRなどのテクノロジーを使ったエンターテインメントの作り方や演出が先鋭的だと肌で感じることはありましたか？小川：コロナ以前もそうだったんですけど、コロナ後は特に、家の中で買い物をする人が増えて、会社にもライブコマースの案件がたくさん来ていました。バーチャルアイドルはスキャンダルもないですし、広告塔としての需要が高くて、たくさん作らないといけないような状況だったんです。ライブコマースに関しては、中国はすごく進んでいると感じましたね。ーー中国でやりたいことがありつつ、道半ばで帰国されたとのことですが、XR SQUADのプロジェクトを通して叶えられることもありそうですね。小川さんが元々やりたかった領域を改めて教えていただけますか？小川：リアルタイムの映像制作ですね。当時ゲームエンジンを使って映像制作する事例が増え始めていて、私も当初はレンダリング時間の短縮のためにUnrealEngine4を使ってミュージックビデオの制作を始めました。さらに、ライブコマースやライブ会場で、実際の人とバーチャルキャラクターが会話をするといったインタラクティブな体験の需要が高まり、リアルタイムでのキャラクターの描画・合成技術も必要になってきたんです。　色々試すうちに、キャラクターが実在する感じをより高度に表現するためには、ライティングやエッジブレンディングなどの従来の合成技術だけではなく、カメラトラッキングなどの技術を習得しないといけないことに気づき、勉強を始めました。ーー高性能なゲームエンジンが次々に出てきて、それをゲームだけではなく映像にも取り入れることができるようになったのは、要素として大きいですよね。今回先んじてデモの映像を拝見したのですが、これは何を使って制作されているんですか？小川：キャラクターの描画と合成はUnreal Engineなんですが、カメラトラッキングのデータと実写映像を入出力するためのミドルウェアとしてTouchDesignerを利用してますね。このシステムでは、BASSDRUMのメンバーが開発した独自プロトコルによって映像とカメラのトラッキングデータが同期されることで、CGと実写映像がずれることなく合成されます。ーープロジェクトとして立ち上げて実際に動かすまでに、障害や課題はありましたか？小川：これまでのバーチャルキャラのライブは、そこまで高負荷な処理が必要ないこともあり、細かい制御がしやすいUnityを使っていたんです。ただ、そこにバーチャルヒューマンが出てきて、今後はもっと高精細なグラフィックスのAR表現が求められるでしょうから、今回は試験的にUnreal Engineを使ってみることになりました。リアルなバーチャルキャラクターを動かすときに、いかにfps（フレームレート）を落とさないかが課題ですね。実際本番中に、処理が重くてfpsが落ちてしまうことが結構あって、そこがまだまだ技術的な障壁になっています。ーータイミング的には、ちょうどいまUnreal Engine 4から5への移行の時期ですよね。来年正式リリースされると、より精細な表現ができるようになりそうですし、そのあたりの可能性を考えて、Unreal Engineを使う方向にシフトしていった部分もありますか。小川：はい、そうです。ーーゲームエンジンのほかに、大変だったことはありましたか？小川：UnrealはまだAR関連の機能が少ないんです。たとえばUnityだったら簡単にできる影の描画も難しくて、それを調整する必要はありましたね。ーーゲーム領域はすごく強いけれども、ARコンテンツはそこまで事例がなくて、そこをBASSDRUMさんやXR SQUADさんがナレッジ化していると。デモ映像ができるまでに、どれくらいの時間がかかるんですか？小川：ビジュアル表現側の作業はほとんど私が行ったんですが、制作は1ヶ月かかってないぐらいですね。キャラクターモデリングから、UnrealEngineにモデルをインポートして合成するまでの処理がそれくらいで、同時並行で作っていたTouchDesignerのミドルウェア開発も、1ヶ月かかってないくらいで。2～3人のリソースで、割と短いスケジュールで作りました。ーーすごい！　信じられないくらいの早さですね。小川：XR SQUADは、ビジュアル制作から機材の調達まで一気通貫で全部やるんですが、今回設けられた制作期間が短期間だったので、キャラクターモデリングにも、Character Creator 3という、いい感じにバーチャルにキャラクターを作れるソフトを使いました。ただ、デフォルトだとおもしろくないので自分でデザインを加えたりもして、短期間でどこまでやれるかの検証も兼ねていましたね。ーーなるほど。今回は新しいものを取り入れる試みだったんですね。小川：個人的には新しいものだらけでした。キャラクターソフトも、服のシミュレーションソフトもそうですし、あとUnreal内でTouchDesignerのファイルを読み込み、直接データのやり取りができるTouchEngine APIを使ってみたり。まだ世の中であまり使われていない技術も盛り込みました。ーー演出や見せ方のところで、見る側が1番変化を感じやすい部分はどこですか？小川：本来これはARライブが発生した場合を想定して作ったもので、そのデモという感じなんですが、ぱっと見ではプリレンダリングかリアルタイムかわからない部分はあると思います。とりあえず今回は第1弾という位置づけです。ーーなるほど。小川さんは、バーチャルヒューマン領域のどういった部分に可能性を感じているのでしょうか？小川：バーチャルヒューマンやVTuberには、もう1人の自分になれるというポジティブな側面があるからですね。技術が進むにつれて、自分のなりたい姿が多様化されると思うんです。私がもし別人格を作るとしたら、2Dよりもリアルな、自分に似たものを作りたいんですが、同じように思っている人って絶対いるだろうし、そんな世界が来たらいいな、というバーチャルに対する期待はずっとあるんですよ。ーー日本だと、アニメーション先行的な事例が多いですが、海外はもう少しフォトリアルなものが主流ですよね。そのあたりのギャップをどういうふうに見てらっしゃいますか？小川：私も全然アニメが好きなので、どちらがいい・悪いということではないと思います。一概に二つに分けられないし、海外のバーチャルものはほとんど3D表現になっていて、より親和性が高いと思います。私自身はアメリカのCodeMikoさんや韓国のAPOKIさんなど、海外のバーチャルタレントさんの動画をよく見ています。ーー今後Unreal Engine 5がリリースされると、できることの幅が広がると思いますが、そのあたりの可能性をどう感じていらっしゃいますか？小川：Unreal Engine 5が出てくると、より高負荷な表現ができるようになるので、今までよりもさらにリアルとバーチャルの境目がわからなくなると思います。そうなったら、現実としてある裏の背景と、ARのCGがわからなくなるようにしつつ、パーティクルが飛んだりとか、非現実なものをアクセントに加えるような演出はやってみたいですね。今ARライブをやってると、合成がうまくいきすぎてARかVRかわからないことが結構あるので、もうひとひねりしたいです。・BASSDRUMは「技術の総合病院」国内でも希少な一気通貫のクリエイティブチームにーーまずは、XR SQUADを立ち上げた経緯をお伺いしてもいいですか？清水：2019年の秋ぐらいから、XRの大きめの案件をいくつか受けていたのですが、その後コロナも相まって、オンライン配信などのお仕事が増えていったんですね。そうやって場数を踏んでいくうちに、実績が実績を呼んで、XR関連のお仕事が少しずつ来るようになりました。それで、毎回モーショントラッキング機材をレンタルしてるとレンタル費用がかさむので、思い切って自分たちで買うことになったんです。高い機材を買ってしまうと、投資分を回収するために積極的に営業する必要がありますよね。そのためにわかりやすい名前をつけて組織化したのが理由の1つです。　もうひとつの理由として、2019年あたりから、GPU（コンピュータのグラフィック演算装置）の発達や描画のクオリティ、描画速度が上がって、本当に現実が拡張できるレベルまで来たなと実感したんですよ。それまでのAR表現は、実用に耐え得る精度ではないと私の中では感じていたので。仕事として取り組めるレベルになったということは、そこに楽しい仕事がたくさん発生するわけで、楽しい仕事に恵まれるためには、それが得意であることをアピールしないといけない。メンバーに対しておもしろい仕事を供給するのが私の大事な役割なので、そういう領域には触手を伸ばしておくようにしています。　さらにもう1つの理由として、なんでもできるチームが自然と出来上がっていたことですね。通常、機材担当のテクニカルディレクターや、ソフトウェアの技術者、あるいはハードウェアと映像でのレンダリングを連動させるシステムは、どこも分業なんですよ。最初から最後まで手がけることができるチームが、少なくとも日本には全然なかったんです。だけどBASSDRUMはいろんなタイプの技術者を集めていたから、気付いたら最初から最後までできるようになっていて、これは一つの価値として世の中にアピールできるなと思ったんですね。ーーテクニカルディレクションの専門組織という打ち出し方をされていますが、いろんなことがパラレルにできる人材が一つの組織に集まってるのがすごく特殊で。人と人とのかけ算でいろんなものが生まれそうですよね。清水：おっしゃるとおりで、テクニカルディレクターって、普通は各社に1～2人くらいしかいないんですよ。それだと横に情報が共有されないから、いろんなところで同じ失敗が起こるんです。　たとえば、12年前にMicrosoftからKinectというハードウェアがリリースされたとき、安価に物体の深度を計測できるセンサーということで、各社のテクニカルディレクターがこぞって買ったんですが、クセがないわけではないのでみんな同じ失敗をするんですよ。横に情報や経験が共有されていれば、誰か1人の失敗で済むのに。なので各社でノウハウを溜め込まず、みんなで共有することで、職業全体のベースアップを図ろうと思ったんです。　なぜベースアップが必要かというと、ビジネスの場における技術者は、物言わぬ職人として動くようなことも多く、どうしてもマネジメント層から下に見られてしまいがちだからなんです。これは仕事上のリスペクトを持ってもらえないだけではなく、報酬にも影響します。ただ、クリエイティブやビジネスの話がわかる技術者はどこの領域にも必要ですから、その必要性をわかってもらわないといけないし、そのために技術者が一つのチームに集まって市場で力を持つことで、単価も含めて、存在感価値を高めることが目標でした。　これがスタートだったんですけど、実はさらに面白いことがあって、いざいろんなテクニカルディレクターを一つのチームに集めてみたら、さまざまな領域を網羅できるようになったんです。多くの会社はハードウェア専門とか、展示物専門とか、得意分野があると思うんですけど、我々は何でもできる状態になってしまったんですね。どんな案件がきても、メンバーの誰かに聞けばわかるし、話を進めていける。私はいつもBASSDRUMについて話すとき、眼医者とか歯医者とかではなく、「総合病院です」と説明します。“技術の総合病院”って、今までにあまりないんです。コロナ禍になって、DXやらなきゃ、デジタル化しなきゃと危機感を抱きつつも、どんな技術を使って何をしていいかわからない人はすごくたくさんいて、そんなときにBASSDRUMに相談に来てくれると、これを使ってこうした方がいいですねってアドバイスが出来るので、より適切な提案をすることができるフォーメーションだと思っています。・エッセンシャルワーカーとしての責任をまっとうしつつ、面白い仕事も追求したいーーバーチャルヒューマン領域は、今まさに発展途上だと思いますが、この辺りはどのように捉えてらっしゃいますか？清水：質感やビジュアル面をリアルに再現することにおいては、かなりいいところまで来ていると思うんですよ。ただ所作や、人間らしい振る舞いを反映させたときに、未成熟なところがあります。いわゆる不気味の谷ですね。ちょうどそのタイミングに、AIで筋肉や体の動かし方の不自然さを解消していく研究開発が、西海岸のゲーム会社を中心に見られるようになりました。今後2～3年したら、かなり使える技術として世に出ると思いますよ。ーー2022年以降、ご自身やBASSDRUMさんは、どんなことに取り組んでいきたいですか？清水：コロナ禍で「エッセンシャルワーカー」という言葉が使われるようになりました。医療従事者やライフラインを整備する人たちを指す言葉ですが、東日本大震災のときは、デジタルに携わる仕事はまだまだエッセンシャルではなかったんですよ。でも今回のコロナ禍では、いつの間にか、デジタルの領域が世の中の仕組みを設計し、つくる、エッセンシャルワークになりました。そこはもうコロナが終息しても変わらないですよね。エンターテインメントにせよ、ウェブサービスにせよ、デジタルを絡めることが絶対必要になりました。それゆえに我々としては、打席は増え続けるだろうなと考えています。　一方で日本は高齢化社会です。たとえばエンターテインメントの領域では、作り手としておもしろい機会をもらえるのは日本ではなくなってくると感じています。国内ではなかなか刺激的でおもしろいサービスやコンテンツをローンチすることができなくなってくるので、コロナが終わったら、これまでXR SQUADなどで培ったものを、若い人が多い国に輸出していきたいですね。　エッセンシャルな立場として、立てる打席には立って世の中の役に立ちたいというところと、エンターテインメントの領域では積極的に外に出て行きたいという2軸ですね。ーー海外の動向で今気になっていることや、挑戦したい分野などはありますか？清水：私の中で、「教育」は1つのテーマです。いまはスマホの普及もあって、インターネットがなかったアフリカの村でも使えるようになっているんですよ。それって世の中の構造を変えてしまう動きともいえますよね。そういう人たちが、先進国との格差がない形で情報を受信して、学んでいくためのスタジオを作ることもできると思うし、エンターテインメントやコンテンツを供給することもできるし、やれることは無数にあると思っています。　これは私自身のクリエイターとしての欲になっちゃうんですが、私が小学2年生のときにファミコンが出てきて、『スーパーマリオ』をはじめとしたコンシューマーゲームが登場したときって、ものすごい影響を受けたんです。やっとインターネットが届いた子どもたちに向けてコンテンツを発信することで、もしかしたら自分たちの作ったものが『スーパーマリオ』的なものになるかもしれない。それってすごくやりがいのある仕事ですよね。世の中にはそういったやりがいのある仕事がたくさん転がっているはずで、それをチームに供給するのが私の責任でもあるので、いまお話したようなことをやっていけたら、それは技術者冥利に尽きます。ーー人の人生を変える体験を世界規模で実現できたらすごいですし、それが教育に繋がれば、世界全体の質が向上しますよね。先進国だけでなく発展途上国にもデジタル教育を届けることは、社会課題として世界的に共有されているものですし。誰がそこを代表して進めていくかが不透明な部分もあるので、BASSDRUMさんが開拓していくのをぜひとも見届けたいです。清水：そこで人のお金を奪おうとか、世界を征服してやろうというモチベーションではなく、私心無く世の中の役に立っていけたらいいなと思います。そういう意味でも我々に任せてくれれば、よりよいものをつくることができるかと思うのでよろしくお願いいたします。

中村拓海