Mtk's Blog: VOCALOID SDK for Unity でユニティちゃんをリアルタイムに歌わせる方法

How to make unity-chan sing songs #2 (Realtime mode)

2015年12月に公開された VOCALOID SDK for Unity とそれに付属するランタイム版ユニティちゃん歌声ライブラリを使うとゲームエンジンUnity3D(以下Unity)でユニティちゃんを歌わせることができます。
前回は VOCALOID SDK for Unity でvsqxファイルを歌わせるPlayback モードについてブログを書きました。
VOCALOID SDK for Unityでユニティちゃんにvsqxを歌わせる方法

今回はRealtime モードで歌わせる方法を試してみました。

環境

・Windows8.1
・Unity 5.3.1f1 Personal版

VOCALOID SDK for Unityをダウンロードする

「Unity with VOCALOID」特設サイト
http://business.vocaloid.com/unitysdk/
からVOCALOID SDK for Unityをダウンロードします。
ファイルはunitypackage形式です。

UnityのプロジェクトにVOCALOID SDKをインポートする

Unityを起動して適当なプロジェクトを作ります。
ダウンロードしたunitypackage形式のVOCALOID SDK for Unityをダブルクリックしてインポートします。

エラーが発生したら

動作確認のためVOCALOID SDKのインポート直後にゲームを開始してみたら次のエラーが起きました。
Assets/Editor/PostProcessBuild.cs(14,19): error CS0234:
The type or namespace name `iOS' does not exist in the namespace `UnityEditor'. Are you missing an assembly reference?

UnityDownloadAssistant の最新版を公式サイトからダウンロードして起動し
iOS.Build.Support
の追加オプションをインストールしたらエラーがなくなりました。

SceneにAudioSourceとスクリプトを追加する

VOCALOID SDK for Unity でユニティちゃんに歌わせるには最低でも次の2つのコンポーネントが必要です。

Audio Source
VOCALOID SDK for Unity のAPIを呼び出すスクリプト
Audio Listner

Audio ListnerはデフォルトでSceneのMain Cameraにアタッチされているので説明は省きます。

今回はSceneにEmptyオブジェクトに配置してこれらのコンポーネントをアタッチします。
メニューの
GameObject - Create Empty
を実行してEmptyオブジェクトを追加します。
HierarchyにGameObjectが追加されるのでInspectorからAudio Sourceをアタッチします。

次にスクリプトを追加してGameObjectにアタッチします。
ProjectにC#のスクリプトを MyScript2.cs というファイル名で追加し、GameObjectにアタッチします。
今回はレイテンシー(遅延)がわかりやすいようにマウスのクリックで発音するようにしました。

MyScript2.cs

using UnityEngine;
using System;

// VOCALOID for Unityに必要な参照.
#if UNITY_EDITOR_WIN || UNITY_STANDALONE_WIN
using Yamaha.VOCALOID.Windows;
#elif UNITY_EDITOR_OSX || UNITY_STANDALONE_OSX 
using Yamaha.VOCALOID.OSX;
#elif UNITY_IOS
using Yamaha.VOCALOID.iOS;
#endif

namespace Jp.Fujiu.VFU_sample
{
    public class MyScript2 : MonoBehaviour
    {
        // 歌詞.
        private const string LYRICS = "ゆにゆににしてやんよ";

        // 「ゆにゆににしてやんよ」のメロディのノートナンバー配列.
        private int[] NoteNumbers
        {
            get
            {
                // 配列の数字は次のノートナンバーに対応.
                // A3, A3, B3, B3, B3, B3, A3, B3, A3, C#4.
                return new int[]
                {
                    69, 69, 71, 71 ,71,
                    71, 69, 71, 69, 73,
                };
            }
        }

        // 配列のインデックス.
        private int NoteNumbersIndex { get; set; }

        // 音階.
        private int NoteNumber { get; set; }

        // YVFRenderで合成波形を書き込むための配列.
        private Int16[] RenderData { get; set; }

        void Start()
        {
            RenderData = new Int16[2048];
            NoteNumbersIndex = -1;

            // DB_Iniディレクトリパスを指定してYVFの初期化する.
            var path = Application.dataPath + "/StreamingAssets/VOCALOID/DB_ini";
            var yvfResult = YVF.YVFStartup("personal", path);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFStartup");
            }

            // 歌声合成エンジンのリアルタイムモード設定を行う.
            // 引数はリアルタイム合成のバッファサイズ(Mode1:最小～Mode5:最大).
            yvfResult = YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode1);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeSetStaticSetting");
            }

            // リアルタイム合成を開始する.
            yvfResult = YVF.YVFRealtimeStart();
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeStart");
            }

            // AudioClipを生成する.
            var audioClipName = "VOCALOID" + gameObject.GetInstanceID();
            var clip = AudioClip.Create(audioClipName, YVF.YVFSamplingRate, 1, YVF.YVFSamplingRate, true);
            var audioSource = gameObject.GetComponent<AudioSource>();
            audioSource.clip = clip;
            audioSource.Play();

            // リアルタイム合成に使用する歌詞を設定する.
            yvfResult = YVF.YVFRealtimeSetLyrics(LYRICS, YVF.YVFLang.Japanese);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeSetLyrics");
            }
        }

        void Update()
        {
            // マウスの左ボタンが押されたら発音する.
            // マウスの左ボタンが離されたら発音を停止する.
            if (Input.GetMouseButtonDown(0))
            {
                // メロディのノートナンバーを配列から取得.
                NoteNumbersIndex = (NoteNumbersIndex + 1) % NoteNumbers.Length;
                NoteNumber = NoteNumbers[NoteNumbersIndex];

                // 現在のMIDI書き込みフレームにVOCALOID MIDIを追加する (ノートオン).
                YVF.YVFRealtimeAddMidi(YVF.YVFMIDIEventType.NoteOn, NoteNumber);

                // 現在のMIDI書き込みフレームのMIDIデータイベントを確定する.
                YVF.YVFRealtimeCommitMidi();
            }
            else if (Input.GetMouseButtonUp(0))
            {
                // 現在のMIDI書き込みフレームにVOCALOID MIDIを追加する (ノートオフ).
                YVF.YVFRealtimeAddMidi(YVF.YVFMIDIEventType.NoteOff, NoteNumber);

                // 現在のMIDI書き込みフレームのMIDIデータイベントを確定する.
                YVF.YVFRealtimeCommitMidi();
            }
        }

        void OnAudioFilterRead(Single[] data, Int32 channels)
        {
            var numBufferdSamples = YVF.YVFRealtimeGetAudioNumData();

            // 指定したサイズのオーディオバッファを取得する.
            var numOutSamples = data.Length / channels;
            if (numBufferdSamples < numOutSamples)
            {
                numOutSamples = (Int32)numBufferdSamples;
            }

            // リアルタイム合成の結果をYVFから受け取る.
            if (RenderData.Length < numOutSamples)
            {
                RenderData = new Int16[numOutSamples];
            }

            // 指定したサイズのオーディオバッファを取得する.
            YVF.YVFRealtimePopAudio(RenderData, numOutSamples);

            // 合成結果をAudioClipに書き込む.
            for (var i = 0; i < numOutSamples; ++i)
            {
                // convert uint16_t (-32768 ~ 32767) to float (-1.0 ~ 1.0)
                var value = RenderData[i] / 32768.0f;
                var index = i * channels;
                for (var j = index; j < index + channels; ++j)
                {
                    data[j] = value;
                }
            }

            // 不足した場合はゼロで埋める.
            for (var i = numOutSamples * channels; i < data.Length; ++i)
            {
                data[i] = 0;
            }
        }

        void OnApplicationQuit()
        {
            // リアルタイム合成を停止する.
            YVF.YVFRealtimeStop();

            // YVFの終了処理を終了する.
            YVF.YVFShutdown();
        }
    }
}

これでゲームを実行すると、Gameウィンドウをクリックするたびにユニティちゃんが「ゆにゆににしてやんよ」と歌います。(「ミクミクにしてあげる」の替え歌)
Realtimeモードでは、歌声が流れる間スクリプトのInspectorにオーディオのレベルメーターが表示されます。

APIを扱う際の注意点

VOCALOID API for Unity は全て YVFクラス を通して扱います。
YVF.YVFRealtimeStart() を実行したらそのアプリが終了するまでに YVF.YVFShutdown() を実行してシャットダウンする必要があります。
YVFOpenSong() を実行したらそのアプリが終了するまでに YVF.YVFRealtimeStop() を実行してリアルタイム合成を停止する必要があります。
シャットダウンや停止を忘れるとリソースが解放されないようで、Unityを再起動するまで挙動がおかしくなります。
YVFクラスのメソッドが正常に実行できなくなったらUnityを再起動してください。

Realtimeモードの留意点

Playbackモードと違い、vsqxファイルは不要です。
高度な歌声を合成するにはMIDIデータフォーマットの知識が必要です。

バッファーサイズによってレイテンシーが大きく変わります。
YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode1);
でバッファー最小・低レイテンシ、高負荷
YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode5);
でバッファー最大・高レイテンシ、低負荷

ボーカロイドは歌詞の「は」は常に「は」と発音します。助詞の「は」は「わ」に文字を置き換える必要があります。
「こんにちは」と歌わせるなら歌詞を「こんにちわ」に設定する必要があります。

Mtk's Blog

新アプリケーション

2016年1月8日金曜日

VOCALOID SDK for Unity でユニティちゃんをリアルタイムに歌わせる方法