Mtk's Blog: VOCALOID

ラベル VOCALOID の投稿を表示しています。すべての投稿を表示

2016年12月17日土曜日

[CUBASE9] ボーカロイドをAudio-Insする方法

How to send audio signals to Audio-Ins

CUBASE Pro 9とCUBASE Artist 9はAudio-Insが実装され、サイドチェイン対応VST3インストゥルメントにオーディオをセンドできるようになりました。
Audio-Insを使ってボーカロイドの歌声をRetrologue2のフィルターやエフェクトをかける方法を試してみたのでその手順をまとめました。

blog.fujiu.jp [CUBASE9] ボーカロイドをAudio-Insする方法

環境

Windows 10
CUBASE Pro 9
VOCALOID4 Editor for CUBASE (以下、ボカキュー)

Retrorogue2のSide-Chainを有効にする

Retrorogue2のインストゥルメントトラックを追加します。

Retrorogue2の画面上部にあるSide-Chainを有効にするボタンをクリックします。オレンジ色に点灯すれば有効です。

Side-Chainを有効にすると OSCILLATOR MIX にINPUTつまみが増えるので最大値に設定します。

ボカキューの出力先をRetrologue2のSide-Chainに設定する

ボカキューのトラックを追加します。

チャンネル設定を開きます。インスペクターから開く場合は「e」のボタンをクリックします。
出力を SuidSide-Chain Retrologue に設定します。

以上で設定は完了です。

Retrologue2のノートをオンにするとボーカロイドがAudio=Insされる

プロジェクトを再生すると Retrologue2のノートをオンにしている間だけ ボーカロイドの歌声がRetrologue2から出力されます。
オンにするノートの音階はどれでもいいようです。
デフォルトではRetrologue2のノートをオンにするとRetrologue2のオシレーターが発音されるので、オシレーターをすべてオフにします。

SHAPEをLP12、RESONANCEとDISTORTIONを50％くらいにしてボーカロイドの歌唱中にCUTOFFを上げたり下げたりするとアナログ感のあるローファイな効果が得られます。
フィルターのEnvelopeとノートオン・オフを駆使すればボカキューだけでは得られない効果が作り出せます。

Retrologue2のエフェクトをかけることもできます。

今回は出力先をRetroogue2にしましたが、チャンネル設定のSendsでパラレルに出力すれば原音とミックスすることができます。

2016年12月10日土曜日

CUBASE Pro 9 で変わった点

Available now, Cubase 9

2016年12月、CUBASEの最新版・CUBASE 9がリリースされました。
早速インストールしてみたので新しく変わった点の一部をまとめました。

環境

Windows 10
ASIO対応オーディオインターフェイス

入手方法はダウンロード限定

店頭でCUBASE9のパッケージを買ってもDVD-ROMは付属せず、同封のダウンロードアクセスコードをWebサイトに入力してインストーラーをダウンロードする方法になりました。
インストーラーはWindows用・Mac用ともに10GBを超える容量で圧縮されています。

旧バージョンと共存するとretrologueが上書きえる

CUBASE Pro 8や8.5など旧バージョンがインストールされているPCにCUBASE Pro 9をインストールしたのですが、旧バージョンは上書きされずに残りました。
CUBASE Pro 9で刷新されたエフェクトプラグインはCUBASE Pro 8や8.5では旧バージョンのものが起動します。
ただしCUBASE Pro 8のretrologueはretrologue2に上書きされました。
旧retrologueを使っている環境に、将来公開されると思われるCUBASE Pro 9体験版をインストールすると、体験版期限後にretrologue2が使えなくなるかもしれないので要注意です。

旧バージョンの設定を自動で引き継ぐ

CUBASE Pro 9初回起動時に旧バージョンがインストールされていると、最近開いたプロジェクトの履歴などを引き継いでくれるようです。

付属シンセサイザーは追加なし

CUBASE8.5から追加されたVSTインストゥルメントはありません。

リニアフェイズイコライザー・Frequency EQが追加された

CUBASE7からCurveEQというサードパーティ製リニアフェイズイコライザーがバンドルされていますが、CUBASE Pro 9はSteinberg製のFrequency EQというリニアフェイズイコライザーがバンドルされるようになりました。
Mid/Side対応でCurveEQより高度なミキシングができそうです。
位相の進み・遅れを補正するリニアフェイズのためか、レイテンシーがあるようです。

MixConsoleの操作を元に戻せるようになった

MixConsoleのフェーダーやパンなどの操作が履歴に残るようになり、操作する前の状態に戻す機能が追加されました。

キーボードショートカットも設定できます。

Maximizerが刷新された

旧CUBASE付属のMaximizerは個人的にリリースに不自然さを感じてました。
CUBASE9のMaximizerはアルゴリズムが刷新され、modernモードではリリースタイムなどを指定できるようになり細かい調整ができるようになりました。

ボカキューが使える

VOCALOD4 Editor for CUBASE (通称ボカキュー)はCUBASE Pro 9でも使えます。

その他の変更点

プロジェクトウィンドウが刷新されインターフェイスがMDIからSDIへ変わった
サンプラートラックが追加されGroove Agent SEを使わなくてもオーディオ素材の音程を変えてMIDIトリガーで再生できるようになった
オーディオトラック用サンプルライブラリー Caleidoscope が追加された
VST 3 インストゥルメントプラグインにオーディオをSendできる Audio-Ins が実装された
Groove Agent SE用MIDIループ集 Production Grooves が追加された
エフェクトプラグイン・AutoPan のUIと機能が刷新された
エフェクトプラグイン・Brickwall Limiter、Compressor、Expander、Gate、Envelope ShaperのUIが刷新された

2016年1月8日金曜日

VOCALOID SDK for Unity でユニティちゃんをリアルタイムに歌わせる方法

How to make unity-chan sing songs #2 (Realtime mode)

2015年12月に公開された VOCALOID SDK for Unity とそれに付属するランタイム版ユニティちゃん歌声ライブラリを使うとゲームエンジンUnity3D(以下Unity)でユニティちゃんを歌わせることができます。
前回は VOCALOID SDK for Unity でvsqxファイルを歌わせるPlayback モードについてブログを書きました。
VOCALOID SDK for Unityでユニティちゃんにvsqxを歌わせる方法

今回はRealtime モードで歌わせる方法を試してみました。

環境

・Windows8.1
・Unity 5.3.1f1 Personal版

VOCALOID SDK for Unityをダウンロードする

「Unity with VOCALOID」特設サイト
http://business.vocaloid.com/unitysdk/
からVOCALOID SDK for Unityをダウンロードします。
ファイルはunitypackage形式です。

UnityのプロジェクトにVOCALOID SDKをインポートする

Unityを起動して適当なプロジェクトを作ります。
ダウンロードしたunitypackage形式のVOCALOID SDK for Unityをダブルクリックしてインポートします。

エラーが発生したら

動作確認のためVOCALOID SDKのインポート直後にゲームを開始してみたら次のエラーが起きました。
Assets/Editor/PostProcessBuild.cs(14,19): error CS0234:
The type or namespace name `iOS' does not exist in the namespace `UnityEditor'. Are you missing an assembly reference?

UnityDownloadAssistant の最新版を公式サイトからダウンロードして起動し
iOS.Build.Support
の追加オプションをインストールしたらエラーがなくなりました。

SceneにAudioSourceとスクリプトを追加する

VOCALOID SDK for Unity でユニティちゃんに歌わせるには最低でも次の2つのコンポーネントが必要です。

Audio Source
VOCALOID SDK for Unity のAPIを呼び出すスクリプト
Audio Listner

Audio ListnerはデフォルトでSceneのMain Cameraにアタッチされているので説明は省きます。

今回はSceneにEmptyオブジェクトに配置してこれらのコンポーネントをアタッチします。
メニューの
GameObject - Create Empty
を実行してEmptyオブジェクトを追加します。
HierarchyにGameObjectが追加されるのでInspectorからAudio Sourceをアタッチします。

次にスクリプトを追加してGameObjectにアタッチします。
ProjectにC#のスクリプトを MyScript2.cs というファイル名で追加し、GameObjectにアタッチします。
今回はレイテンシー(遅延)がわかりやすいようにマウスのクリックで発音するようにしました。

MyScript2.cs

using UnityEngine;
using System;

// VOCALOID for Unityに必要な参照.
#if UNITY_EDITOR_WIN || UNITY_STANDALONE_WIN
using Yamaha.VOCALOID.Windows;
#elif UNITY_EDITOR_OSX || UNITY_STANDALONE_OSX 
using Yamaha.VOCALOID.OSX;
#elif UNITY_IOS
using Yamaha.VOCALOID.iOS;
#endif

namespace Jp.Fujiu.VFU_sample
{
    public class MyScript2 : MonoBehaviour
    {
        // 歌詞.
        private const string LYRICS = "ゆにゆににしてやんよ";

        // 「ゆにゆににしてやんよ」のメロディのノートナンバー配列.
        private int[] NoteNumbers
        {
            get
            {
                // 配列の数字は次のノートナンバーに対応.
                // A3, A3, B3, B3, B3, B3, A3, B3, A3, C#4.
                return new int[]
                {
                    69, 69, 71, 71 ,71,
                    71, 69, 71, 69, 73,
                };
            }
        }

        // 配列のインデックス.
        private int NoteNumbersIndex { get; set; }

        // 音階.
        private int NoteNumber { get; set; }

        // YVFRenderで合成波形を書き込むための配列.
        private Int16[] RenderData { get; set; }

        void Start()
        {
            RenderData = new Int16[2048];
            NoteNumbersIndex = -1;

            // DB_Iniディレクトリパスを指定してYVFの初期化する.
            var path = Application.dataPath + "/StreamingAssets/VOCALOID/DB_ini";
            var yvfResult = YVF.YVFStartup("personal", path);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFStartup");
            }

            // 歌声合成エンジンのリアルタイムモード設定を行う.
            // 引数はリアルタイム合成のバッファサイズ(Mode1:最小～Mode5:最大).
            yvfResult = YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode1);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeSetStaticSetting");
            }

            // リアルタイム合成を開始する.
            yvfResult = YVF.YVFRealtimeStart();
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeStart");
            }

            // AudioClipを生成する.
            var audioClipName = "VOCALOID" + gameObject.GetInstanceID();
            var clip = AudioClip.Create(audioClipName, YVF.YVFSamplingRate, 1, YVF.YVFSamplingRate, true);
            var audioSource = gameObject.GetComponent<AudioSource>();
            audioSource.clip = clip;
            audioSource.Play();

            // リアルタイム合成に使用する歌詞を設定する.
            yvfResult = YVF.YVFRealtimeSetLyrics(LYRICS, YVF.YVFLang.Japanese);
            if (yvfResult != YVF.YVFResult.Success)
            {
                throw new Exception("YVFRealtimeSetLyrics");
            }
        }

        void Update()
        {
            // マウスの左ボタンが押されたら発音する.
            // マウスの左ボタンが離されたら発音を停止する.
            if (Input.GetMouseButtonDown(0))
            {
                // メロディのノートナンバーを配列から取得.
                NoteNumbersIndex = (NoteNumbersIndex + 1) % NoteNumbers.Length;
                NoteNumber = NoteNumbers[NoteNumbersIndex];

                // 現在のMIDI書き込みフレームにVOCALOID MIDIを追加する (ノートオン).
                YVF.YVFRealtimeAddMidi(YVF.YVFMIDIEventType.NoteOn, NoteNumber);

                // 現在のMIDI書き込みフレームのMIDIデータイベントを確定する.
                YVF.YVFRealtimeCommitMidi();
            }
            else if (Input.GetMouseButtonUp(0))
            {
                // 現在のMIDI書き込みフレームにVOCALOID MIDIを追加する (ノートオフ).
                YVF.YVFRealtimeAddMidi(YVF.YVFMIDIEventType.NoteOff, NoteNumber);

                // 現在のMIDI書き込みフレームのMIDIデータイベントを確定する.
                YVF.YVFRealtimeCommitMidi();
            }
        }

        void OnAudioFilterRead(Single[] data, Int32 channels)
        {
            var numBufferdSamples = YVF.YVFRealtimeGetAudioNumData();

            // 指定したサイズのオーディオバッファを取得する.
            var numOutSamples = data.Length / channels;
            if (numBufferdSamples < numOutSamples)
            {
                numOutSamples = (Int32)numBufferdSamples;
            }

            // リアルタイム合成の結果をYVFから受け取る.
            if (RenderData.Length < numOutSamples)
            {
                RenderData = new Int16[numOutSamples];
            }

            // 指定したサイズのオーディオバッファを取得する.
            YVF.YVFRealtimePopAudio(RenderData, numOutSamples);

            // 合成結果をAudioClipに書き込む.
            for (var i = 0; i < numOutSamples; ++i)
            {
                // convert uint16_t (-32768 ~ 32767) to float (-1.0 ~ 1.0)
                var value = RenderData[i] / 32768.0f;
                var index = i * channels;
                for (var j = index; j < index + channels; ++j)
                {
                    data[j] = value;
                }
            }

            // 不足した場合はゼロで埋める.
            for (var i = numOutSamples * channels; i < data.Length; ++i)
            {
                data[i] = 0;
            }
        }

        void OnApplicationQuit()
        {
            // リアルタイム合成を停止する.
            YVF.YVFRealtimeStop();

            // YVFの終了処理を終了する.
            YVF.YVFShutdown();
        }
    }
}

これでゲームを実行すると、Gameウィンドウをクリックするたびにユニティちゃんが「ゆにゆににしてやんよ」と歌います。(「ミクミクにしてあげる」の替え歌)
Realtimeモードでは、歌声が流れる間スクリプトのInspectorにオーディオのレベルメーターが表示されます。

APIを扱う際の注意点

VOCALOID API for Unity は全て YVFクラス を通して扱います。
YVF.YVFRealtimeStart() を実行したらそのアプリが終了するまでに YVF.YVFShutdown() を実行してシャットダウンする必要があります。
YVFOpenSong() を実行したらそのアプリが終了するまでに YVF.YVFRealtimeStop() を実行してリアルタイム合成を停止する必要があります。
シャットダウンや停止を忘れるとリソースが解放されないようで、Unityを再起動するまで挙動がおかしくなります。
YVFクラスのメソッドが正常に実行できなくなったらUnityを再起動してください。

Realtimeモードの留意点

Playbackモードと違い、vsqxファイルは不要です。
高度な歌声を合成するにはMIDIデータフォーマットの知識が必要です。

バッファーサイズによってレイテンシーが大きく変わります。
YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode1);
でバッファー最小・低レイテンシ、高負荷
YVF.YVFRealtimeSetStaticSetting(YVF.YVFRealtimeMode.Mode5);
でバッファー最大・高レイテンシ、低負荷

ボーカロイドは歌詞の「は」は常に「は」と発音します。助詞の「は」は「わ」に文字を置き換える必要があります。
「こんにちは」と歌わせるなら歌詞を「こんにちわ」に設定する必要があります。

2016年1月2日土曜日

VOCALOID SDK for Unityでユニティちゃんにvsqxを歌わせる方法

How to make unity-chan sing songs

2015年12月、VOCALOID SDK for Unity が公開されました。
VOCALOID SDK for Unityに付属するランタイム版ユニティちゃん歌声ライブラリを使ってゲームエンジンUnity3D(以下Unity)でユニティちゃんを歌わせることができます。

VOCALOID SDK for Unity にはvsqxファイルを歌わせるPlayback モードと、イベントごとに歌声を出力するRealtime モードがあります。
Playback モードを使ってユニティちゃんを歌わせる方法をまとめてみました。