1次元バーチャルユーチューバー(1DVtuber)になれるアプリの作成
概要
- Webカメラから取得した動画を線画→文字列(1次元情報)に置き換えたVtuberになれるアプリを作りました
- デモ(スマホ、タブレットでは動かない)もあるしソースコードも公開してます(MITライセンス)
はじめに
こんにちは、@tatsuyafireです。大学生です。
画面が全て文字列(1次元情報)で構成された、1 Dimensional Vtuber(1DVtuber)になれるアプリを作成しました。
大層に1DVtuberなどと言っていますが、簡単な言い方をすると、動画をAAに変換して、顔認識機能をつけて目とか口をゴニョゴニョしただけです。(顔認識にはclmtrackrを使用)
この記事では、今回作成した1DVtuberの特徴や、既存のVtuberと比べて、どのようなメリットデメリットがあるのかを書いています。
ここではアルゴリズム的な解説はしてません。
そもそも1DVtuberがVtuberの中に入るのか?
僕個人としては入ると思っています。
「最初はVtuberと言えば3Dだけだったけど、今は2DもVtuberとして市民権を得てる感あるし、1Dも許されるでしょ!」的な考えです。
既存Vtuberの問題点(言うほど問題点か?)
まず個人でVtuberになろうと思ったら、2Dモデルか3Dモデルのどちらかになると思います。
個人運営の場合は2Dモデルの方が手軽でモーションセンサーなども必要無いのですが、あまり動きが表現できないという問題点があります。(個人的にこの問題が一番気になってた)
また3Dモデルを使おうとしても、モーションキャプチャーとか高価ですし...
そして今回作った1DVtuberが、1つの選択肢としてなったらなぁ〜と思っています。
1DVtuber
デモ:
https://tatsuya0619.github.io/1D_Vtuber
1DVtuberのいい所
- Oculusなどの高価な周辺機器を使わず、手の動きなどを見せる事が出来る
- Webブラウザ上で動くので、OSなどの環境に左右されず、ほとんどのパソコンで動く(はず)
MacOSやUbuntuでは動きました - 無料、広告なし、ソースコードが公開されてる!
1DVtuberの悪い所
- 顔認証の精度があまり良くないかも
- 生身の輪郭がちょいちょい見えてしまう
- 見た目を変える選択肢があまりない
目とか口に割り当てる記号とか大きさを変えられるくらい...? - スマホ、タブレットでは動かない
開発途中までは、スマホでも動くようにしてたけど、顔認識の精度がめっちゃ悪くなったから止めました - 配信機能..?..ウッ..アタマガ...
さいごに
- 「1DVtuberという考え」と「今回作った1DVtuberアプリ」をごっちゃにして書いてしまった感
- 誰かこれでVtuberになって