MikuMikuDance/kinect対応機能 - VPVP wiki

MikuMikuDance Ver.7.24より対応したKinect（キネクト、Xbox 360用の周辺機器）によるモーションキャプチャーについて取り扱います。
外部リンク：Kinect - Xbox.com

質問する
このページでは、導入等への質問を受け付けていません。したらばMIkuMIkuDance板のご利用をお勧めします。
　リンク：【Kinectで】キネクト接続初心者スレ【ミクを動かせ！】

---

---

機能概要

動画（樋口M投稿）
MikuMikuDance with OpenNI (Kinect) test 3

モーション取得ボーン

以下のボーンについてMMD本体で記録します。（12/28現在）

• センター（移動成分のみ）
• 体幹：上半身、首、下半身（ただし各ボーンとも同じ方向へ回転する）
• 腕：左腕、右腕、左ひじ、右ひじ（肘は手先までを認識する）
• 足：右足ＩＫ、左足ＩＫ、右足、右ひざ、左足、左ひざ
  ※ＩＫはありでもなしでも可能です。
• 拡張（※Mogg氏作成のDxOpenNI利用）
  • 首・上半身・下半身・手首・足首

更新履歴

MikuMikuDance同梱readme.txtより

Ver.7.25(2010/12/26)

• Kinectのセンターボーン位置を若干下げる修正
  DxOpenNI.dllもバージョンアップして下さい
• ﾓｰｼｮﾝｷｬﾌﾟﾁｬ関連メニュー追加
• ﾓｰｼｮﾝｷｬﾌﾟﾁｬに左右反転モード追加
• ﾓｰｼｮﾝｷｬﾌﾟﾁｬにﾛｽﾄﾎﾞｰﾝ初期化モード追加
  カメラの範囲から外れる等して、キャプチャできないボーンをキオツケの姿勢にします。
  Kinectとの距離が取れず、上半身のみしか写らない場合等に使用して下さい

Ver.7.24(2010/12/19)

• Kinect対応機能追加
  OpenNIをインストールし、パソコンでOpenNIのサンプルを動かせる状態にした上で
  プラグイン(DxOpenNI.zip)をダウンロードし、DxOpenNI.dllとSamplesConfig.xml
  の２つのファイルをMMDのDataフォルダにコピーする必要があります。

---

外部装置

Kinectを購入するときの注意点

　・KinectとXBOX360の同梱版にはPCと接続するためのケーブルが付属していないので、Kinect単体で購入する（2010/12/28現在）
　・また今現在、PCとKinectを接続する為のケーブルは、日本国内での入手が難しいらしいので注意（2010/12/28現在）
　・XboxONE向けのkinectv2は現在未対応。さらにこれを使用する為にはkinect for windows v2(販売終了)又はXboxONE向けのkinect及びKinect Adapter for Windows、さらに特定のメーカーのホストコントローラを使用したUSB3.0ポート、DirectX11(当然ながらWindows8以降となる)等が必要となるので注意。詳細については検索を。一応後述のDLLと入れ替えれば制限がありながらもキャプチャは可能(2015/7/12現在）。以下は360向けのものの記述です。

使用環境

距離・幅

• Kinect取扱説明書によるとカメラと被写体との距離は1.8～2.5m必要となります。
• MMDで使用する場合、全身を撮る必要があるため2.5mは見ておいたほうが無難です。また使用者の身長が高いほど、距離が必要です。
  • 身長165cmの人で2.5ｍ程度　180cmの人で3ｍ程度の距離が必要との情報あり。
  • 腕を振り回したりステップを踏むためのスペースが必要となります。180cm程度の幅が目安です（暫定）
  • 6畳程度。

服装・その他

• • キャプチャしやすい服装：体にフィットするものが良いといわれている。
  • 赤外線で認識するため、赤外線を反射するものが良い（白服が良いらしい？）
  • 昼・夜で挙動が若干異なる。直射日光より電気の方がいいらしい。

使用方法

より詳細な説明は、水おいしいです＾o＾: Kinect(キネクト)でMMDでニコ生　導入と使い方を参考にしてください。

1. OpenNiを導入し、kinectがPCで動くようにする。方法は以下のリンク参照
   • Kinect1 -OpenNI導入---まとめ？ブログ、UnaNancyOwen氏
     • リンク記事にあるように　C:\Program Files\OpenNI\Samples\Bin\Release\NiUserTracker.exeを起動し、青い人形の影に三角の骨が表示されれば成功
2. MMD本体およびキネクト対応プラグインの導入
   • VPVPよりver.7.24以降のMikuMikuDance（DirectX9 Ver）とプラグインDxOpenNI.zipをDLする
   • プラグインを解凍後、DxOpenNI.dllとSamplesConfig.xml
     の２つのファイルをMMDのDataフォルダにコピーする。
3. MMDを立ち上げ起動。適当にモデルを読み込む。
   • メニュー>モーションキャプチャ（M)>Kinect(K)をクリックする。
4. キネクトの前にホールドアップ（直立して手を耳の横まで上げる）して、認識されるのを待つ。
   • まずMMD画面に色のついた人影が写り、MMDのモデルが同じ格好になる。上手くいかなければ、kinect選択からやり直す。
   • 足の間は多少隙間を開けて立つといいかも。手を上げる高さを変えると認識しやすいポーズが発見できるかも。
5. MMDのモーションキャプチャ（M)>キャプチャをクリック。
   • 3，2，1のカウントが現れその後キャプチャが開始されるので、キャプチャしたいように動く。
6. モーションキャプチャーを終了する。MMDのヘルプメニューの「キャプチャ」をクリック。キーが記録されるまで待つ。
   • 計算が終えるまでの時間は、キャプチャ時間とPC性能に左右されるが1～10分程度かかる。その間はPCが固まったかと思うかもしれないが処理中である。
7. メニュ>ファイル>モーションデータ保存でデータを保存する。

---

関連ツール

DxOpenNI

MoggDxOpenNI v0.53
説明：MikuMikuDance v7.30用 DxOpenNI 改造DxOpenNIです。
　　　動きの追従性を向上させ、首の傾げ動作、肩、手首、腰、足首動作が可能です。
サイト：moggproject

MMD用kinectV2DLL
DXOpenNI.dllを入れ替えてkinectv2のデータが読めるようにしたDLL
【MMD】KinectV2でキャプチャできるようにしてみた【配布】
ファイル本体

.vmd編集ツール

MMDMotionFilter
機能：移動平均を用いたノイズ低減ツール
【Kinect+MMD】ミクさんの動きを滑らかにするソフトを作ってみた
【Kinect+MMD】ミクさんの苦手な動きをなんとかしてみた【ソフト開発】

MMDdataFilter
機能：前後フレームとの平均からノイズ除去、手首・頭を連動で作成、直立着地補正
【MMD-Kinect】動きの微修正ツール?

Vmd Reduction Tool　
更新情報：v0.5.2（2011/02/12）
機能：データを単純化(間引き)：回転、移動。Y位置Bias、足IKの高さ0以下を0に。Vmdファイル同士のモーション合成。
必要環境：.NET Framework 2.0、VC++ Runtime、DirectX9.0c
Kinectモーションを間引くツールを作ってみた
Kinectモーションを間引くツールを作ってみた2 (解説)

Vmdsimpliphy
http://matosus304.blog106.fc2.com/blog-entry-32.html 2023/08/19現在DL不可(WebArchive含む)
機能：加加速度を用いたフレーム削減ツール。物理演算焼付け用に開発された物。

MMDKinectReduction　
[更新情報： v1.1(2011/02/18)
機能：ノイズ除去、ベジエ補完ありでのデータ間引き、足ＩＫのY＜0修正。腕→肩振り分け、ひじ→手捩り振り分け。
【ツール公開】kinectによるMMDモーションデータの削減ツール
MMD+Kinectデータ圧縮ツールのバージョンうｐできたよー！
みなみむきのMMD用ツール紹介/サポート:みなみむきの部屋 - ブロマガ (WebArchive)

pmd

キネミク[MMD] Kinectをハックして対応ボーン増やしてみたwww
体幹および腕の回転連動によって自然に見せるモデル

---

参考資料

FAQ

したらば【Kinectで】キネクト接続初心者スレ【ミクを動かせ！】より

「kinectのユ－ザ－センサ－を認識できません」

そこで下記サイト
http://www.cyber.t.u-tokyo.ac.jp/~take/kinect/openni-windows-kinect.html
に行き、ペ－ジ半ばの、
【4. サンプルの実行】の手順を行う。

アクセス権限が云々管理者に云々、というメッセ－ジが出て前に進めない。

• この、【4. サンプルの実行】の手順を行う時、（ＯＳがVistaの場合なんかは特に）
  アクセス権限が云々管理者に云々、というメッセ－ジが出て前に進めない。
  管理者権限でアクセスしてるのにこのメッセ－ジが出やがる。
  
  そこで、コントロ－ルパネルから、
  ユ－ザ－アカウント→ユ－ザ－アカウント制御の有効化または無効化
  をクリック。
  再起動すれば手順を進めれるようになる。
  
  全て終わればユ－ザ－アカウント制御云々を元に戻す。
  これでたいていＯＫ！

XBOX本体同梱版でキネクトを入手した人はUSB変換ケーブルが入ってない。

• 本体同梱買った人はUSB変換ケーブルはMSのサポートに電話すれば買える
  http://hoshihoshihoshi.blog.so-net.ne.jp/2010-11-25

ニコニコ動画

ニコニコ動画での該当タグMikuMotionCapture

サイト

• MMD+Kinect関連のあれこれ　みくだん--かんな氏
• 水おいしいです＾o＾: Kinect(キネクト)でMMDでニコ生　導入と使い方

ブロマガ

あおめ 氏

• Kinectを使った舞台向けMMDモーション作り方について(2013/03/25)…基本的なkinectによるモーションの特徴

ニュース記事

• Kinectで初音ミクは“人間の動き”を手に入れる!?　MikuMikuDanceも対応--ITmedia
• 『MikuMikuDance』がモーションキャプチャーに対応！　神過ぎる進化で『キネクト』バカ売れの予感--ガジェット通信

---

コメント

質問する
このページでは、導入等への質問を受け付けていません。したらばMikuMikuDance板のご利用をお勧めします。
　リンク：【Kinectで】キネクト接続初心者スレ【ミクを動かせ！】

• Kinectoneでもモーションキャプチャーが出来るようにして欲しいです -- 名無し (2016-09-30 00:57:11)

---

MikuMikuDance　＞

kinect対応機能、 PMXの概要、 Ver.7.30以降、 拡張子

---