MikuMikuDance Ver.7.24より対応したKinect(キネクト、Xbox 360用の周辺機器)によるモーションキャプチャーについて取り扱います。
外部リンク:Kinect - Xbox.com

質問する
このページでは、導入等への質問を受け付けていません。したらばMIkuMIkuDance板のご利用をお勧めします。
 リンク:【Kinectで】キネクト接続初心者スレ【ミクを動かせ!】




機能概要

動画(樋口M投稿)
MikuMikuDance with OpenNI (Kinect) test 3

モーション取得ボーン

以下のボーンについてMMD本体で記録します。(12/28現在)
  • センター(移動成分のみ)
  • 体幹:上半身、首、下半身(ただし各ボーンとも同じ方向へ回転する)
  • 腕:左腕、右腕、左ひじ、右ひじ(肘は手先までを認識する)
  • 足:右足IK、左足IK、右足、右ひざ、左足、左ひざ
    ※IKはありでもなしでも可能です。
  • 拡張(※Mogg氏作成のDxOpenNI利用)
    • 首・上半身・下半身・手首・足首

更新履歴

MikuMikuDance同梱readme.txtより
Ver.7.25(2010/12/26)
  • Kinectのセンターボーン位置を若干下げる修正
    DxOpenNI.dllもバージョンアップして下さい
  • モーションキャプチャ関連メニュー追加
  • モーションキャプチャに左右反転モード追加
  • モーションキャプチャにロストボーン初期化モード追加
    カメラの範囲から外れる等して、キャプチャできないボーンをキオツケの姿勢にします。
    Kinectとの距離が取れず、上半身のみしか写らない場合等に使用して下さい
Ver.7.24(2010/12/19)
  • Kinect対応機能追加
    OpenNIをインストールし、パソコンでOpenNIのサンプルを動かせる状態にした上で
    プラグイン(DxOpenNI.zip)をダウンロードし、DxOpenNI.dllとSamplesConfig.xml
    の2つのファイルをMMDのDataフォルダにコピーする必要があります。



外部装置

Kinectを購入するときの注意点

 ・KinectとXBOX360の同梱版にはPCと接続するためのケーブルが付属していないので、Kinect単体で購入する(2010/12/28現在)
 ・また今現在、PCとKinectを接続する為のケーブルは、日本国内での入手が難しいらしいので注意(2010/12/28現在)
 ・XboxONE向けのkinectv2は現在未対応。さらにこれを使用する為にはkinect for windows v2(販売終了)又はXboxONE向けのkinect及びKinect Adapter for Windows、さらに特定のメーカーのホストコントローラを使用したUSB3.0ポート、DirectX11(当然ながらWindows8以降となる)等が必要となるので注意。詳細については検索を。一応後述のDLLと入れ替えれば制限がありながらもキャプチャは可能(2015/7/12現在)。以下は360向けのものの記述です。

使用環境

距離・幅
  • Kinect取扱説明書によるとカメラと被写体との距離は1.8~2.5m必要となります。
  • MMDで使用する場合、全身を撮る必要があるため2.5mは見ておいたほうが無難です。また使用者の身長が高いほど、距離が必要です。
    • 身長165cmの人で2.5m程度 180cmの人で3m程度の距離が必要との情報あり。
    • 腕を振り回したりステップを踏むためのスペースが必要となります。180cm程度の幅が目安です(暫定)
    • 6畳程度。
服装・その他
    • キャプチャしやすい服装:体にフィットするものが良いといわれている。
    • 赤外線で認識するため、赤外線を反射するものが良い(白服が良いらしい?)
    • 昼・夜で挙動が若干異なる。直射日光より電気の方がいいらしい。

使用方法

より詳細な説明は、水おいしいです^o^: Kinect(キネクト)でMMDでニコ生 導入と使い方を参考にしてください。

  1. OpenNiを導入し、kinectがPCで動くようにする。方法は以下のリンク参照
    • Kinect1 -OpenNI導入---まとめ?ブログ、UnaNancyOwen氏
      • リンク記事にあるように C:\Program Files\OpenNI\Samples\Bin\Release\NiUserTracker.exeを起動し、青い人形の影に三角の骨が表示されれば成功
  2. MMD本体およびキネクト対応プラグインの導入
    • VPVPよりver.7.24以降のMikuMikuDance(DirectX9 Ver)とプラグインDxOpenNI.zipをDLする
    • プラグインを解凍後、DxOpenNI.dllとSamplesConfig.xml
      の2つのファイルをMMDのDataフォルダにコピーする。
  3. MMDを立ち上げ起動。適当にモデルを読み込む。
    • メニュー>モーションキャプチャ(M)>Kinect(K)をクリックする。
  4. キネクトの前にホールドアップ(直立して手を耳の横まで上げる)して、認識されるのを待つ。
    • まずMMD画面に色のついた人影が写り、MMDのモデルが同じ格好になる。上手くいかなければ、kinect選択からやり直す。
    • 足の間は多少隙間を開けて立つといいかも。手を上げる高さを変えると認識しやすいポーズが発見できるかも。
  5. MMDのモーションキャプチャ(M)>キャプチャをクリック。
    • 3,2,1のカウントが現れその後キャプチャが開始されるので、キャプチャしたいように動く。
  6. モーションキャプチャーを終了する。MMDのヘルプメニューの「キャプチャ」をクリック。キーが記録されるまで待つ。
    • 計算が終えるまでの時間は、キャプチャ時間とPC性能に左右されるが1~10分程度かかる。その間はPCが固まったかと思うかもしれないが処理中である。
  7. メニュ>ファイル>モーションデータ保存でデータを保存する。


関連ツール

DxOpenNI

MoggDxOpenNI v0.53
説明:MikuMikuDance v7.30用 DxOpenNI 改造DxOpenNIです。
   動きの追従性を向上させ、首の傾げ動作、肩、手首、腰、足首動作が可能です。
サイト:moggproject

MMD用kinectV2DLL
DXOpenNI.dllを入れ替えてkinectv2のデータが読めるようにしたDLL
【MMD】KinectV2でキャプチャできるようにしてみた【配布】
ファイル本体

.vmd編集ツール


MMDdataFilter
機能:前後フレームとの平均からノイズ除去、手首・頭を連動で作成、直立着地補正
【MMD-Kinect】動きの微修正ツール?

Vmd Reduction Tool 
更新情報:v0.4.2.1(2011/02/12)
機能:データを単純化(間引き):回転、移動。Y位置Bias、足IKの高さ0以下を0に。Vmdファイル同士のモーション合成。
必要環境:.NET Framework 2.0、VC++ Runtime、DirectX9.0c
Kinectモーションを間引くツールを作ってみた
Kinectモーションを間引くツールを作ってみた2 (解説)

Vmdsimpliphy
http://matosus304.blog106.fc2.com/blog-entry-32.html
機能:加加速度を用いたフレーム削減ツール。物理演算焼付け用に開発された物。

MMDKinectReduction 
[更新情報: v1.1(2011/02/18)
機能:ノイズ除去、ベジエ補完ありでのデータ間引き、足IKのY<0修正。腕→肩振り分け、ひじ→手捩り振り分け。
【ツール公開】kinectによるMMDモーションデータの削減ツール
MMD+Kinectデータ圧縮ツールのバージョンうpできたよー!


pmd

キネミク[MMD] Kinectをハックして対応ボーン増やしてみたwww
体幹および腕の回転連動によって自然に見せるモデル



参考資料

FAQ


「kinectのユ-ザ-センサ-を認識できません」
そこで下記サイト
http://www.cyber.t.u-tokyo.ac.jp/~take/kinect/openni-windows-kinect.html
に行き、ペ-ジ半ばの、
【4. サンプルの実行】の手順を行う。
アクセス権限が云々管理者に云々、というメッセ-ジが出て前に進めない。
  • この、【4. サンプルの実行】の手順を行う時、(OSがVistaの場合なんかは特に)
    アクセス権限が云々管理者に云々、というメッセ-ジが出て前に進めない。
    管理者権限でアクセスしてるのにこのメッセ-ジが出やがる。

    そこで、コントロ-ルパネルから、
    ユ-ザ-アカウント→ユ-ザ-アカウント制御の有効化または無効化
    をクリック。
    再起動すれば手順を進めれるようになる。

    全て終わればユ-ザ-アカウント制御云々を元に戻す。
    これでたいていOK!
XBOX本体同梱版でキネクトを入手した人はUSB変換ケーブルが入ってない。


ニコニコ動画

ニコニコ動画での該当タグMikuMotionCapture

サイト

ブロマガ
あおめ 氏

ニュース記事



コメント

質問する
このページでは、導入等への質問を受け付けていません。したらばMikuMikuDance板のご利用をお勧めします。
 リンク:【Kinectで】キネクト接続初心者スレ【ミクを動かせ!】
名前:
コメント:
  • Kinectoneでもモーションキャプチャーが出来るようにして欲しいです -- 名無し (2016-09-30 00:57:11)