VTuberってどうやって動いてるんだろう……仕組みが気になる！
2D・3Dのキャラクターがリアルタイムで動く、VTuberの配信。魅力的なキャラクターたちがどういう仕組みで動いているのか、わからない人も多いのでは？ この記事では、VTuberのキャラクターを動かす仕組みや技術、配信に必要な機材について解説します！
下の目次をクリックしてお好きな項目へジャンプ！
いまさら聞けない!? VTuberって何？
VTuberとは、Virtual YouTuber（バーチャルユーチューバー）の略称であり、アニメーションや3Dモデリングを用いて作成された仮想のキャラクターが、実際に人間が行うような動きや話し方で配信を行うYouTuberのことを指します。VTuberは、2010年代後半に急速に普及し、日本だけでなく海外でも人気があります。
より詳しい基礎知識について知りたい人には、こちらの記事がおすすめ！
VTuberってどうやって動いてるの？ 仕組みを解説
VTuberの動きは、基本的にはモーションキャプチャーシステムと顔認識技術によって表現されています。
モーションキャプチャーシステムとは、カメラやセンサーを使用して人間の動きを検知し、それをデジタルデータに変換する技術のこと。顔認識技術はビデオや静止画像などから人物の顔を自動的に検出して認識する技術です。
主に3Dモデルを使う場合など、身体の動きを表現する際にモーションキャプチャーシステムは活用されます。一般的なモーションキャプチャーシステムでは、複数のマーカーが付けられた特殊な衣装を着用し、カメラやセンサーでマーカーを検出することで、人物の動きをリアルタイムで測定します。
最近では、技術の進歩によってマーカーなしで動きを測定することも可能になってきています。
2Dモデルで特に重要になる口や目などの表情の動きの表現には、顔認識技術が用いられることが多いです。顔認識技術を用いる場合には、カメラで撮影された顔の動きや表情をリアルタイムで認識することで、キャラクターの表情として反映します。
このように、VTuberはモーションキャプチャーシステムや顔認識技術を活用することで、リアルタイムで身体の動きや表情の変化を表現しています。
VTuberのモデリングとはー2D編
VTuberにおけるモデリングは、キャラクターの外見となる2Dもしくは3Dモデルを形作るとっても重要な工程です。ここでは、VTuberの2Dモデリングについて解説していきます。
2Dモデリングの制作プロセスについて
VTuberの2Dモデリングは、アニメーションのキャラクターデザインの手法を応用したものだと言えるでしょう。
まずはイラストレーターが手描きでキャラクターデザインをした後、それを元にデジタルで2Dモデルを作ります。
その際、モデルのパーツを分割し、パーツを動かすために必要な関節の位置を設定することで、2Dモデルの向きや表情などを変化させられるのです。最終的に、ライブ配信に必要なフォーマットに変換して使用します。
2Dモデリング技術の進歩について
VTuberの2Dモデリング技術の精度は年々向上していて、さらに細かな表情の再現が可能になっています。
また、顔認識技術やモーションキャプチャー技術の進歩により、より自然な動きが実現できるようになってきました。
さらに、AIを活用した自動リップシンク技術や、AR技術を使った背景の変更が可能な技術も開発されており、VTuberの表現力は向上し続けています。
VTuberのモデリングとはー3D編
次に、3Dモデリングについて解説していきます。
VTuberの3Dモデリングは、3次元空間においてVTuberのキャラクターモデルを制作することを指します。
この技術を使うことで、2Dキャラクターの場合と同様に、VTuberが生配信中に顔の表情やポーズを変えたり、動きを付けたりすることができるんです。
VTuberの3Dモデリングの制作プロセスについて
VTuberの3Dモデリングの制作プロセスについて見ていきましょう。
まずはキャラクターデザインを元にモデルを作成します。この際、キャラクターの頭や手足などのパーツは個別に作成されます。
次に行なわれるのが、3Dモデルのスケルトン（骨格）を作成する作業です。骨格ができたら、顔や手足などのパーツを動かすための関節部を設定します。
こうすることで、VTuberがポーズを変えたり、身体の動きを表現できるようになります。
その後、モデルの色や質感を完成させるテクスチャリングが行なわれたのち、最終的に、ライブ配信に必要なフォーマットに変換して制作完成です。
VTuberの3Dモデリング技術の進歩について
VTuberの3Dモデリング技術も年々進歩しています。
例えば、リアルタイムレイトレーシングという技術を使うことで、VTuberのキャラクターモデルに、よりリアルな質感や光の表現を与えることも可能になりました。
さらに、近年のコンピューターグラフィックス技術の発展により、より高品質な3Dモデルが制作できるようになりました。
また、新しいテクニックやアルゴリズムも開発されており、3Dモデルのリアルな表現や動きを実現することが可能になっているようです。
3Dモデリング技術の進歩により、VTuberの3Dモデリングのクオリティは飛躍的に向上し、視聴者によりリアルな体験を提供することができるようになりました。
しかし、クオリティを上げるためには高度な技術や機材が必要となり、それに応じて制作コストも上昇しているため、制作環境の整備が課題となっています。
自動で話すVTuber!? 音声合成技術について
VTuberの声は、一般的には「中の人」とも呼ばれる、キャラクターモデルを使用する人物が担当することがほとんどですが、音声合成技術が用いられる場合もあります。
音声合成技術とは、テキストなどから音声を合成する技術のこと。
例えば、人工知能や機械学習などを用いて、ある人物の声を再現したり、ロボットやAIアシスタントの声を作ったりすることができます。
音声合成技術は近年急速に進歩しています。
特に、AIによる音声合成技術の発展により、より自然で人間らしい声を生成することができるようになってきました。
音声合成技術の進歩は、VTuberにとっては、声優が不在でもキャラクターを活かすことができるというメリットをもたらします。
声優不在でのVTuber運用が可能になることで、活用の場はさらに広がっていくかもしれません。
VTuberとして配信するには？ 必要な機材とソフトウェアを紹介
さまざまな技術によって実現しているVTuberの配信には、いくつかの機材やソフトウェアが必要です。
ここでは、VTuberの配信に使われる機材・ソフトウェアについて紹介します。
VTuber配信に必要な機材やソフトウェアについて
VTuberの配信には、パソコンやWebカメラ、マイクなどの基本的な配信機材が必要です。
また、VTuberとしての活動に特化した機材として、顔認識機能やモーションキャプチャー機能を搭載した「VTuber向けWebカメラ」や、声の高音質化やノイズキャンセリングができる「ボイスチェンジャー」などがあります。
ソフトウェアについては、モーションキャプチャーソフトと配信ソフトが必要です。
モーションキャプチャーソフトは、モーションキャプチャーデバイスでキャプチャーしたデータを取り込んで加工するために使用されるソフトウェアです。代表的なものに「MotionBuilder」「iClone」「FaceRig」などがあります。
配信ソフトは映像や音声などの配信環境を整えるためのソフトで、代表的なものに「OBS Studio」「vTube Studio」「Streamlabs OBS」などがあります。
こういったソフトウェアには、配信画面のレイアウトを設定したり、ゲーム映像とVTuberの映像を合成するための機能が含まれています。
VTuberの未来とは
VTuberは、今後もその活躍の場を広げていくことが期待されます。
例えば、VTuberがAI技術と融合し、より人間に近い表現が可能になるといった技術革新もあり得るでしょう。
一方で、VTuber業界はまだまだ発展途上であり、今後も様々な課題に直面することが予想されます。
VTuber活動を行なう個人やプロデュースする事務所、加えてそのファンたちが共に課題の解決法を模索し続けられれば、VTuberはさらに多くの人々に愛される存在となっていくかもしれませんね。
