Mtk's Blog: VOCALOID SDK for Unityでユニティちゃんにvsqxを歌わせる方法

How to make unity-chan sing songs

2015年12月、VOCALOID SDK for Unity が公開されました。
VOCALOID SDK for Unityに付属するランタイム版ユニティちゃん歌声ライブラリを使ってゲームエンジンUnity3D(以下Unity)でユニティちゃんを歌わせることができます。

VOCALOID SDK for Unity にはvsqxファイルを歌わせるPlayback モードと、イベントごとに歌声を出力するRealtime モードがあります。
Playback モードを使ってユニティちゃんを歌わせる方法をまとめてみました。

環境

・Windows8.1
・Unity 5.3.1f1 Personal版

VOCALOID SDK for Unityをダウンロードする

「Unity with VOCALOID」特設サイト
http://business.vocaloid.com/unitysdk/
からVOCALOID SDK for Unityをダウンロードします。
ファイルはunitypackage形式です。

UnityのプロジェクトにVOCALOID SDKをインポートする

Unityを起動して適当なプロジェクトを作ります。
ダウンロードしたunitypackage形式のVOCALOID SDK for Unityをダブルクリックしてインポートします。

エラーが発生したら

動作確認のためインポート直後にゲームを開始してみたら次のエラーが起きました。
Assets/Editor/PostProcessBuild.cs(14,19): error CS0234:
The type or namespace name `iOS' does not exist in the namespace `UnityEditor'. Are you missing an assembly reference?

UnityDownloadAssistant の最新版を公式サイトからダウンロードして起動し
iOS.Build.Support
の追加オプションをインストールしたらエラーがなくなりました。

プロジェクトにvsqxファイルを追加する

VSQファイルやvsqxファイルはボーカロイドに歌わせるための歌詞と楽譜のようなものです。
vsqxファイルの作り方については後述します。
今回は1トラック分のvsqxファイルを用意しました。

このファイルをProjectのAssetsフォルダーのルートに vsq_sample.vsqx という名前で配置しました。これを歌わせることを目標にします。

SceneにAudioSourceとスクリプトを追加する

VOCALOID SDK for Unity でユニティちゃんに歌わせるには最低でも次の2つのコンポーネントが必要です。

Audio Source
VOCALOID SDK for Unity のAPIを呼び出すスクリプト
Audio Listner

Audio ListnerはデフォルトでSceneのMain Cameraにアタッチされているので説明は省きます。

今回はSceneにEmptyオブジェクトに配置してこれらのコンポーネントをアタッチします。
メニューの
GameObject - Create Empty
を実行してEmptyオブジェクトを追加します。
HierarchyにGameObjectが追加されるのでInspectorからAudio Sourceをアタッチします。

次にスクリプトを追加してGameObjectにアタッチします。
ProjectにC#のスクリプトを MyScript.cs というファイル名で追加し、GameObjectにアタッチします。

MyScript.cs

using UnityEngine;
using System;

// VOCALOID for Unityに必要な参照.
#if UNITY_EDITOR_WIN || UNITY_STANDALONE_WIN
using Yamaha.VOCALOID.Windows;
#elif UNITY_EDITOR_OSX || UNITY_STANDALONE_OSX 
using Yamaha.VOCALOID.OSX;
#elif UNITY_IOS
using Yamaha.VOCALOID.iOS;
#endif

namespace Jp.Fujiu.VFU_sample
{
    public class MyScript : MonoBehaviour
    {
        // AudioClip.PCMSetPositionCallbackで使うPosition.
        private Int32 AudioPosition { get; set; }

        // ソングハンドル (ソングの数だけ必要、今回は一つだけ).
        private int SongHandle { get; set; }

        // 合成波形を書き込むための配列 (ソングの数だけ必要、今回は一つだけ).
        private Int16[] RenderData { get; set; }

        void Start ()
        {
            // ここからは1度だけ必要な前処理

            // DB_Iniディレクトリパスを指定してYVFの初期化する.
            var path = Application.dataPath + "/StreamingAssets/VOCALOID/DB_ini";
            var yvfResult = YVF.YVFStartup("personal", path);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFStartup");
            }

            // 歌声合成エンジンを初期設定する (Playbackモード).
            // 引数は起動する合成エンジンのインスタンス数.
            var length = 1;
            yvfResult = YVF.YVFSetStaticSetting(length);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFSetStaticSetting");
            }

            // ソングをオープンする.
            SongHandle = YVF.YVFOpenSong();

            // vsqxファイルをロードする.
            var filePath = Application.dataPath + "/vsq_sample.vsqx";
            yvfResult = YVF.YVFLoadVSQXFile(SongHandle, filePath);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFLoadVSQXFile");
            }

            // ここまでは前処理


            // ここからは再生するたびに必要な処理

            // 検索開始位置以降の最初のテンポを検索する
            var tempo = new YVF.YVFTempo();
            var findResult = YVF.YVFFindTempoInMaster(SongHandle, 0, out tempo);
            if (findResult != YVF.YVFFindResult.Found && findResult != YVF.YVFFindResult.NotFound)
            {
                throw new Exception("YVFFindTempoInMaster");
            }

            // 指定したVOCALOIDトラックの検索開始位置以降の最初のパートを検索する.
            var partHead = new YVF.YVFPartHead();
            Int16 track = 1;
            findResult = YVF.YVFFindPart(SongHandle, track, 0, out partHead);
            if (findResult != YVF.YVFFindResult.Found)
            {
                throw new Exception("YVFFindPart");
            }

            // シンガーを設定する.
            var singer = new YVF.YVFSinger();
            singer.singerNo = 0;
            singer.language = YVF.YVFLang.Japanese;
            singer.IDS = "UNITY-CHAN!";
            var partHandle = partHead.partHandle;
            yvfResult = YVF.YVFSetSingerInPart(SongHandle, partHandle, ref singer);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFSetSingerInPart");
            }

            // 指定パートのVOCALOID MIDIデータを元に、フレームインデックスとの対応データをセットアップする.
            yvfResult = YVF.YVFSetupMidiEventsToEONInPart(SongHandle, partHandle, partHead.posTick);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFSetupMidiEventsToEONInPart");
            }

            // 指定パートをレンダリングしたときの総フレーム数を取得.
            var totalFrame = YVF.YVFGetTotalFrameByPart(partHandle);
            if (totalFrame <= 0)
            {
                throw new Exception("YVFGetTotalFrameByPart");
            }

            // Playbackモードレンダリングの初期化する.
            // 引数は合成エンジンの番号 : 今回は一つしか無いので固定値
            var engineHandle = 0;
            yvfResult = YVF.YVFBeginRender(engineHandle);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFBeginRender");
            }

            // Playbackモードレンダリングを行う.
            var targetRenderSamples = totalFrame * YVF.YVFSamplesPerFrame;
            RenderData = new Int16[targetRenderSamples];
            var totalRenderSamples = 0;
            while (true)
            {
                var renderSamples = 0;

                // レンダリング.
                yvfResult = YVF.YVFRender(partHandle, RenderData, targetRenderSamples, engineHandle, out renderSamples);
                if (yvfResult != YVF.YVFResult.Success)
                {
                    throw new Exception("YVFRender");
                }

                totalRenderSamples += renderSamples;
                if (renderSamples < targetRenderSamples)
                {
                    break;
                }
            }

            // Playbackモードレンダリングの終了処理を行う.
            YVF.YVFEndRender(engineHandle);

            // 指定パートのフレームインデックスとの対応データをクリアする.
            YVF.YVFClearMidiEventsInPart(SongHandle, partHandle);

            //YVF.YVFSamplingRate
            var audioClipName = "VOCALOID" + gameObject.GetInstanceID();
            var clip = AudioClip.Create(audioClipName, totalRenderSamples, 1, YVF.YVFSamplingRate, false, OnAudioRead, OnAudioSetPosition);
            var source = gameObject.GetComponent<AudioSource>();
            source.clip = clip;
            source.Play();
        }

        private void OnAudioRead(Single[] data)
        {
            for (Int32 i = 0; i < data.Length; ++i, ++AudioPosition)
            {
                // convert [-32768, 32767] (short) to [-1.0, 1.0) (float).
                data[i] = RenderData[AudioPosition] / 32768.0f;
            }
        }

        private void OnAudioSetPosition(Int32 newPosition)
        {
            AudioPosition = newPosition;
        }

        void OnApplicationQuit()
        {
            // ソングをクローズする.
            YVF.YVFCloseSong(SongHandle);

            // YVFの終了処理を終了する.
            YVF.YVFShutdown();
        }
    }
}

これでゲームを実行すると歌わせることができました。
歌声が流れるだけなのでスクリーンショットはありません。

APIについて

VOCALOID API for Unity は全て YVFクラス を通して扱います。
YVF.YVFStartup() を実行したらそのアプリが終了するまでに YVF.YVFShutdown() を実行してシャットダウンする必要があります。
YVFOpenSong() を実行したらそのアプリが終了するまでに YVF.YVFCloseSong() を実行してソングをクローズする必要があります。
シャットダウンやクローズし忘れるとリソースが解放されないようで、Unityを再起動するまで挙動がおかしくなります。
YVFクラスのメソッドが正常に実行できなくなったらUnityを再起動してください。

vsqxファイルの作り方

VOCALOID SDK for Unity は歌声の元となるvsqファイルかvsqxファイルが必要です。
vsqはVOCALOID2までのバイナリー形式、vsqxはVOCALOID3以降のXML形式のファイルです。
このブログを書いている時点ではVOCALOID SDK for Unity ではvsqxファイルを作ることができません。

vsqxファイルを作るには、次に挙げるような方法があります。

ヤマハが発売している VOCALOID4 EDITOR for CUBASE(ボカキュー4)を買う
(WindowsとMacに対応)
クリプトンが発売しているVOCALOID3以降の歌声ライブラリー(初音ミクV3など)を買って付属のVSTプラグイン・ピアプロスタジオを使う
(WindowsとMacに対応)
ヤマハが発売している VOCALOID4 EDITORを買う
(Windowsのみに対応)
vsqxファイルの仕様を解析してXMLを記述する、またはエディターを自作する

ボーカロイド未経験のUnity開発者が手っ取り早くvsqxファイルを作るならパッケージ版ボカキュー4がお勧めです。CUBASE AIが付属します。
ダウンロード版ボカキュー4にはCUBASE AIは付属しません。
CUBASE AIはマルチトラックのオーディオ・MIDI編集ソフトで、ボカキューはCUBASE AIに統合された機能として利用できます。
WindowsでCUBASE AIを使うにはASIO対応オーディオインターフェイス(ハードウェア)が必要ですが、フリーウエアのASIO4ALLで代用できるようです。
なお、ボカキューと歌声ライブラリーは別売りです。ボカキューで歌声の確認をするにVOCALOID2以降の歌声ライブラリーを買う必要があります。

留意点

ランタイム版ユニティちゃん歌声ライブラリーの容量は145MBほどです。参考までにVOCALOID3版初音ミク(MIKU_V3_Original)が1.8GB、VOCALOID2可愛ユキが351MBほどです。

VOCALOID SDK for Unityは「モバイル向けに軽量化したエンジン」とのことでレイテンシーは少ないのですが、PC用ボーカロイドとは歌い方が異なる気がします。
個人の感想ですが、vsqxファイルで細かく調整するほどVOCALOID SDK for Unityで再生した歌声に違和感を感じます。

Mtk's Blog

新アプリケーション

2016年1月2日土曜日

VOCALOID SDK for Unityでユニティちゃんにvsqxを歌わせる方法