1次元バーチャルユーチューバー(1DVtuber)になれるアプリの作成

概要

  • Webカメラから取得した動画を線画→文字列(1次元情報)に置き換えたVtuberになれるアプリを作りました
  • デモもあるしソースコードも公開してます(MITライセンス)

はじめに

こんにちは、@tatsuyafireです。大学生です。
画面が全て文字列(1次元情報)で構成された、1 Dimensional Vtuber(1DVtuber)になれるアプリを作成しました。
大層に1DVtuberなどと言っていますが、簡単な言い方をすると、動画をAAに変換して、顔認識機能をつけて目とか口をゴニョゴニョしただけです。(顔認識にはclmtrackrを使用)
この記事では、今回作成した1DVtuberの特徴や、既存のVtuberと比べて、どのようなメリットデメリットがあるのかを書いています。 ここではアルゴリズム的な解説はしてません。

そもそも1DVtuberがVtuberの中に入るのか?

僕個人としては入ると思っています。
「最初はVtuberと言えば3Dだけだったけど、今は2DもVtuberとして市民権を得てる感あるし、1Dも許されるでしょ!」的な考えです。

既存Vtuberの問題点(言うほど問題点か?)

まず個人でVtuberになろうと思ったら、2Dモデルか3Dモデルのどちらかになると思います。
個人運営の場合は2Dモデルの方が手軽でモーションセンサーなども必要無いのですが、あまり動きが表現できないという問題点があります。(個人的にこの問題が一番気になってた)
また3Dモデルを使おうとしても、モーションキャプチャーとか高価ですし...
そして今回作った1DVtuberが、1つの選択肢としてなったらなぁ〜と思っています。

1DVtuber

デモ:

https://tatsuya0619.github.io/1D_Vtuber

GitHub: github.com

1DVtuberのいい所

  • Oculusなどの高価な周辺機器を使わず、手の動きなどを見せる事が出来る
  • Webブラウザ上で動くので、OSなどの環境に左右されず、ほとんどのパソコンで動く(はず)
    MacOSUbuntuでは動きました
  • 無料、広告なし!

1DVtuberの悪い所

  • 顔認証の精度があまり良くないかも
  • 生身の輪郭がちょいちょい見えてしまう
  • 見た目を変える選択肢があまりない
    目とか口に割り当てる記号とか大きさを変えられるくらい...?
  • スマホでは動かない
    開発途中までは、スマホでも動くようにしてたけど、顔認識の精度がめっちゃ悪くなったから止めました
  • 配信機能..?..ウッ..アタマガ...

さいごに

  • 「1DVtuberという考え」と「今回作った1DVtuberアプリ」をごっちゃにして書いてしまった感
  • 誰かこれでVtuberになって