【プロセカ】コネクトライブ内容考察回【技術面から予想してみた】

2021年12月04日

こんにちは～、たかぽん( @Takapon_vo_ )と申します。
この前に発表されたコネクトライブ楽しみですよね。
何とも「現実でのライブ体験を極限まで追求したライブ」との事です。

▲ コネクトライブ開催決定 - プロセカ公式より。詳しい情報はプロセカ公式サイトをみるといいかも...?

▲プロジェクトセカイ公式 - コネクトライブ告知PV。とってもクオリティが高くて楽しみですね♪

ですが、どうしてもイベントの詳細が分かりにくい点が目立ちます。
・どの程度の映像クオリティなのか？
・キャラクターの動きやトークのリアルタイム化とは？
・ステージやライブ演出の刷新と有るがどのように変わるのか？
公式としても新規性を大事にしたいが故、出せる情報や出せない情報もあると思います。

なので今回「内容考察回！」と題して僕の分かる範囲ですが、予想される内容を技術的に色々考えて行こうと思います～素人に毛が生えた程度の知識量ですので、あくまで僕の考察程度に考えて頂けると助かります。全然違う可能性も有るので違ったらごめんなさい。
あと、何も知らない方を想定して記事を書くのでつよつよな方から見ればツッコミが入る可能性が高いです。許してもろて...
実際に参加するか考える一助になればと思います。

え？セトリ...？....ｯｽｩｰ、また今度で....

この記事は大学ボカロ部 Advent Calendar 2021 の４日目の記事です。ミククロの代表さんに「アドベントカレンダーと兼ねて良い？」って聞いたら快く了承して頂きました。あざす丸。

プロセカのバーチャルライブってどうやって作られてるの？

まず初めに、プロセカのバーチャルライブがどの様に作られているのか考えます。

プロセカのライブは「リアルタイムレンダリング」と言うやり方で作成されていると睨んでます。それは何ぞや？と思うかもしれないので説明します。

リアルタイムレンダリング・プリレンダリングとは

リアルタイムレンダリング（以下リアルタイム）とは、3DCGの書き出しの方法の１つで他には、プリレンダリング（以下プリレンダ）と言う書き出し方があります。

２つの特徴としてリアルタイムについて映像クオリティは（比較的）低いが拡張性が高くプリレンダについて映像クオリティは高いが拡張性が低くなっています。
（物凄く語弊を生む書き方しか出来なくて申し訳ない）

リアルタイムの表現については僕の話よりコチラの記事歴戦のシェーダ強者が集った「リアルタイムトゥーンシェーダー徹底トーク」～Unite Tokyo 2018レポート（4）～を読んで頂いたりCGworldの2021年9月のバックナンバーを読んで頂いたら色々分かるかなと（投げ）

ココで言う、拡張性とは何か。
それは、豆腐同士でコミュニケーションを行い、見る場所を自分で自由に決めることが出来る。コレがリアルタイムレンダリングだからできる事でそこから「何が生まれるか」と言うと"見る場所によってキャラの見え方が異なっていて" "キャラの存在感"を演出しています。

それに対してプレイヤーキャラ（豆腐）は単純です。
画一的な体型と機械的な動き。工夫できる部分も服やモーション程度。操作キャラが希薄なんですよね。

▲画像はあぷりもさんよりお借りしました。

キャラの存在感が目立ち、プレイヤーは希薄
ゲーム的には真逆なんですがライブにすると正解なんです。
この２つが絶妙にマッチして独特な空間を演出しているんですよ。
いや～面白い（ただのオタク）

僕の記憶が正しければこの辺りはColorful Paletteさんの管轄でセガさんが協力してた筈。まぁ、記事を過去に読んだ記憶有るけどリンク忘れたしあやふやなので無視してください。

また、次いでにプリレンダについて話をするとコレは予め映像を書き出して流す形式です。Youtubeで流れている動画などはこの形です（ライブ配信除く）

んで、プロセカでプリレンダはどのように使われているか話すと「曲の3DCGムービー」ですね。ココの担当はマーザ・アニメーションプラネットさん（セガの子会社さん）が担当してます。
https://www.marza.com/works/article/2280/

１度、CGworldと言う雑誌のカンファレンスで直接話を聞いたことが有るのですが
「いやぁ、リギングで２時間ぐらい喋りたい事有るんですけどね( ´∀｀ )」
って聞いて本当に凄いなと（小並感）
正しく3DCGのプロですよ。
スマホと言う規格内で、表現の幅を模索した形跡が見れて好きです。

すみません脱線しました...。
結論を述べると、プロセカのバーチャルライブはリアルタイムレンダリング形式で行われていてそれによりプレイヤー同士の交流やキャラとの近い距離感が生まれています。

コネクトライブ内容について

お待たせしました本題です。
では、従来のバーチャルライブと今回のコネクトライブ
・どのように違うのか？
・何を楽しみにすればいいのか？
解説していこうと思います。

まず形式について、コネクトライブはリアルタイムレンダリングです。
観客と演者がリアルタイムでやり取りする以上、プリレンダの可能性は無いです。よって、映像のクオリティが格段に向上する可能性は低いとみて良いでしょう。

次に、今まで動けていた豆腐が動けなくなる可能性が高いです。
この理由として、大規模の人数を格納し動かすとなるとスマホの描画するスペックが追い付かないのが１つ。
大人数の位置同期システムがしんどそうだなと思ったのが１つ。
（fps低下させたらワンチャン行けるのかな...？）
「現実でのライブ体験を極限まで追求したライブ」と言うので、実際のライブ動き回らんだろと思ったのが１つ。
紹介PVにて豆腐動いてないからと言う理由が１つ。

以上の理由から、動き回るのではなく視点をグルグル移動させる形のライブになると思われます。

コネクトライブの見どころとは

次は、コネクトライブの見どころ予想です。

それはズバリ...

「キャラが歌いながらファンサをすること」と思います。

いや、それだけかよ...と思うかもしれませんが、多分経験すると面白いです。
架空のキャラクターであるプロセカのキャラが自分の反応に対してリアルタイムで応答する。
生きてない筈なのに生を感じる。

言葉では表現できないエモさを感じると思います。

また、「トークのリアルタイム化」も面白いですね。
流れてきたコメントを読む、さながらVtuberみたいな感じでしょうか？
初音ミクとかボカロキャラに関しては難しいと思います。

ディープラーニングを用いたリアルタイム音声変換とかありますが僕の記憶だとそこまで実用段階じゃなかった筈。（一応、１例だとこの様なものが有ります）　
https://gigazine.net/news/20201228-yukari-voice-change/ ですので、恐らくプロセカキャラのトークリアルタイム化のみだと思います。

次に、会場の魅力について
先ほど動けなくなるといった話が有りましたが失ったものが有れば、得たものもあると言う物。

もちろん代わるだけの魅力が有ります。
それは何かと言うと「空気感」と考えます。

空気感の面白さをマジカルミライで例えると「マジカルミライは棒振ってるオタクを見に行ってる」と言う方が実際に居るほど空気感の面白さ、コレもまた筆舌に尽くしがたい物なのです。

今回、大人数を１つの空間で共有することにより空気感を作る土壌は出来上がった。後はどのように携帯に落とし込み演出するか。
間違いなく今回のコネクトライブの見どころだと思います。

全曲フルバージョンの歌唱の魅力はそのままですね。
ボカロキャラは事前にモーション撮って流すか、アクターさんにお願いしてモーションだけリアルタイムでやるか、プロセカキャラは歌って踊ってファンサして楽しそう。

注意点からコネクトライブを考えてみると...

後は注意点から読み取れる内容につきまして。
注意事項がこのような形になってますが

🌟コネクトライブ🌟

注意事項をよくご確認の上、ご参加いただくようお願いいたします😊

📺番組生配信中：https://t.co/fG42r4qthD #初音ミク #プロセカ生放送 pic.twitter.com/hQMdf1ajV3
— プロジェクトセカイカラフルステージ！ feat. 初音ミク【プロセカ】 (@pj_sekai) November 22, 2021

まとめると
・高速な通信環境が必要で
・充電を必要とすること
・恐らく結構な通信量がかかるのと
・回線速度は結構有ったほうが良い
などかなと思いました。（目安が分からない）

また、もう一つ気になったのが
・電力を必要とする事
すなわち、演出に描画スペックを今まで以上に必要とする事なので低スペックなスマホは厳しそうなイメージ...。

一応僕は「AQUOS sense2」という低スぺのスマホと「iPhone SE第２世代」と言うぼちぼちスペックの２台あるので、違いを試してみても楽しそうです。

まとめ

僕の予想するコネクトライブについての長所と短所ですが

長所

・大規模な会場になることでライブの空気感を味わえる可能性が高い。
・目の前でキャラクターがリアルタイムに応答し、推しが生きてる様を見れる可能性が高い。
・いつもより長い。

短所

・リアルタイム方式なのでクオリティが激増する訳じゃない。
・以前はその辺ブラブラ出来たが、今回動けない可能性がある。

だと思います。おつかれさまでした。

最後に

ここからは独り言なのですが、初音ミクは歌姫であり技術の象徴でもあると思います。
透過型スクリーンに始まり、水上投影
プロジェクジョンマピング、AR、VR、紗幕
技術の先に、表現の可能性に
初音ミクは居ました。

そして僕みたいな人は
「新しさ」や「面白さ」、「経験」や「チャレンジ」にワクワクしてお金を払っていたと思います。
今回のコネクトライブも、そんな形に新しいことにチャレンジする運営さんに頑張れ！ってお布施する文化。そんなものが出来たらいいなって考えてます。

コネクトライブ、楽しみにしてます。

編集後記

今回はMIKUCrossing♪のライブでMMDや3DCGを担当しているミククロメンバーが、プロセカの「NEXT LIVE!」を大予想してくれました✨
「プロセカでなんか新しいライブがあるらしいよ。」とサークル内で話題になっている中、「実は、次のプロセカのライブを3D技術等の話を交えて予想してみたいと思ってたんです！！」みたいな流れで今回の記事を書いてもらえることになりました。

イベントを技術的な観点から話す機会ってなかなか無いですよね。。。こんな話ができるのも、普段から実際にミクさん達のファンメイドライブを作ってるからだからこそなので、面白いなーと思ってます。

もう、詳細が待ちきれませんね！コネクトライブ楽しみです♪ (MIKU Crossing Lab. 代表)