w-okada/zoom-meeting-plus

Zoom Meeting Plus

Zoom Meeting Plusは、お好みのキャラクターでZoomミーティングを簡単に行えるアプリケーションです。

現在は、ずんだもんがサポートされています。

上の絵、こちらの絵はAIに書いてもらったZoomを使うずんだもん（＝ずむだもん）です。

デモ

リアルタイムボイスチェンジャ(MMVC)

https://user-images.githubusercontent.com/48346627/208338019-b73bdc03-5319-423e-b891-314a05097e45.mp4

Text-to-Speech（Voicevox)

https://user-images.githubusercontent.com/48346627/208339120-8aa7c4ac-7d67-4ec1-8d99-8ade1b1607f1.mp4

使用方法

前提

• Docker

前作業

こちらの記事を参考にZoomのSDK KeyとSDK Secretを取得してください。

音声サーバの起動

本アプリは二つの音声サーバをサポートします。

• VC Trainer & Player for MMVC
• Voicevox

VC Trainer & Player for MMVCの起動方法

MMVC公式ページ

VC Trainer & Player 公式ページ

VC Trainer & PlayerはAIを用いたリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。次のコマンドでサーバとして起動させることができます。ポート番号は18888の部分を変えることで変更できます。(２か所は連動して同じ値にすること)

$ git clone --depth 1  https://github.com/w-okada/voice-changer.git -b z001_qiita_advent_calendar_2022_zoom
$ cd voice-changer
$ bash start2.sh MMVC

GPUが無い環境で起動させる場合は、最後の行を次のように置き換えてください。

$ USE_GPU=off bash start2.sh MMVC

Voicevox起動方法

公式ページ

公式の標準の起動方法ではgithub pagesからのアクセスができません。--cors_policy_mode allをつけて起動するようにします。どのサーバのウェブページであってもローカルのVoicevoxにアクセスするような処理を記述するとアクセスできるようになります。これは悪意のあるサーバのページでも同じです。不要な時にはコンテナをシャットダウンするなど、対策を行うことをお勧めします。

$ docker run --rm --gpus all --entrypoint="" -p 50021:50021 voicevox/voicevox_engine:nvidia-ubuntu20.04-latest gosu user /opt/python/bin/python3 ./run.py --use_gpu --voicelib_dir /opt/voicevox_core/ --runtime_dir /opt/onnxruntime/lib --host 0.0.0.0 --cors_policy_mode all

GPUが無い環境で起動させる場合は、次のコマンドで実行してください。

$ docker run --rm -it --entrypoint="" -p '50021:50021' voicevox/voicevox_engine:cpu-ubuntu20.04-latest gosu user /opt/python/bin/python3 ./run.py --voicelib_dir /opt/voicevox_core/ --runtime_dir /opt/onnxruntime/lib --host 0.0.0.0 --cors_policy_mode all

アプリケーションの起動と操作方法

次のページにアクセスしてください。

Zoom Meeting Plus

下の画面が出てきたらClick to startを押してください。

下の画面に遷移したら「会議室でのユーザ名」「ミーティング番号」「ミーティングのパスワード」「SDK Key(前述したもの)」「SDK Secret(前述したもの)」を入力してEnterを押してください。

下の画面が出たらjoinボタンを押してください。Zoom会議に参加できます。

画面右側のパネルでは各種操作が可能になっています。

下の部分では、Zoomミーティングに送信される画面が表示されています。画像下のボタンでアバターの動作を変えることができます。また、音声を発しているときには自動的にtalkin状態になります。

下の図ではVC Trainer And Player for MMVCの各種制御が行えます。

下の部分ではVoicevoxの各種制御が行えます。またGoogle Speechによる音声認識＋Voicevoxでの音声発話も可能です。

操作動画

https://user-images.githubusercontent.com/48346627/208342144-688e7119-9bfb-4bee-b6cc-a4b2c794a151.mp4

謝辞

• MMVC様
• Voicevox様
• akihiyo様

古い記事

Zoom Meeting Plus

You can join the zoom meeting with avatar as you like.

Documentation

Documentation is published as blog. Please see them.

English

1. Time keeper bot with Zoom Meeting SDK
2. Talking avatar with Zoom Meeting SDK
3. Motion tracking avatar with Zoom Meeting SDK
4. Voice changer with Zoom Meeting SDK
5. Use avatar you like in Zoom !

Japanese

1. Zoom Meeting SDKでタイムキーパーちゃんを作る。
2. Zoom Meeting SDKでアバターにいろいろしゃべらせる。
3. Zoom Meeting SDKをつかって会議にアバターで参加する
4. Zoom Meeting SDKでなんちゃってボイスチェンジャー
5. Zoom Meetingにアバターで参加するぞ。番外編
6. Zoom Meeting SDKとVosk browserでZoom会議のリアルタイム文字起こし

Demo

Docker

$ docker run -p 8888:8888 dannadori/zoom-meeting-plus:v08
$ docker run --rm -it -p '127.0.0.1:50021:50021' voicevox/voicevox_engine:cpu-ubuntu20.04-latest
$ docker run --rm -it -p 5500:5500 synesthesiam/opentts:en

access to http://localhost:8888/

Heroku

https://zoom-meeting-plus.herokuapp.com/