Mtk's Blog

2011年7月16日土曜日

[Android] OpenGLで頂点の多いポリゴンを扱うには

How to draw many vertrics on GLSurfaceView

前回のブログobj2opengl.plをJava用に改造するでは
obj2opengl: convert obj 3D models to arrays compatible with iPhone OpenGL ES « Heiko Behrens (Blog):
http://heikobehrens.net/2009/08/27/obj2opengl/
で公開されているバナナのオブジェクトは頂点が多くてJavaでは扱えないことがわかりました。

原因は
定数プールは65536エントリー以内
コンストラクターやメソッドのソースは65536バイト以内
というJavaの仕様によるものでした。

Javaは大きいソースをビルドできないので、外部ファイルに持たせる方法をいくつか試してみましたがどれも無理でした。

1.assetsフォルダーに頂点データをテキストファイルに保存する
→AssetManagerは256行以上のテキストファイルを読み込めない（IOException例外が発生）

2.頂点データをvalues/strings.xmlに保存する
→strings.xmlは65536行以上のデータを扱えない

試行錯誤の結果、obj2opengl.plが出力したbanana.hをAndroid-NDKで使うことでバナナを表示できました。
HBehrens-obj2opengl-a0f123e.zipに含まれるbanana.jpgとbanana.hをAndroidプロジェクトに取り込みます。
jniフォルダーを作ってbanana.hを保存します。
drawableフォルダーを作ってbanana.jpgを保存します。

jniフォルダーにはさらにAndroid.mkとbanan.cppを保存します。

Android.mk

LOCAL_PATH := $(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE    := Banana
LOCAL_SRC_FILES := banana.cpp
include $(BUILD_SHARED_LIBRARY)

banana.cpp

#include <jni.h>
#include "banana.h"
extern "C" {
 JNIEXPORT jint JNICALL Java_jp_fujiu_AndroidApp_BlenderBanana_Main_getBananaNumVerts
 (JNIEnv* env, jobject thiz) {
  return bananaNumVerts;
 }

 JNIEXPORT jfloatArray JNICALL Java_jp_fujiu_AndroidApp_BlenderBanana_Main_getBananaVerts
 (JNIEnv *env, jobject thiz) {
  int size = sizeof(bananaVerts) / sizeof(bananaVerts[0]);
  jfloatArray result = env->NewFloatArray(size);
  env->SetFloatArrayRegion(result, 0, size, bananaVerts);
  return result;
 }

 JNIEXPORT jfloatArray JNICALL Java_jp_fujiu_AndroidApp_BlenderBanana_Main_getBananaNormals
 (JNIEnv* env, jobject thiz) {
  int size = sizeof(bananaNormals) / sizeof(bananaNormals[0]);
  jfloatArray result = env->NewFloatArray(size);
  env->SetFloatArrayRegion(result, 0, size, bananaNormals);
  return result;
 }

 JNIEXPORT jfloatArray JNICALL Java_jp_fujiu_AndroidApp_BlenderBanana_Main_getBananaTexCoords
 (JNIEnv* env, jobject thiz) {
  int size = sizeof(bananaTexCoords) / sizeof(bananaTexCoords[0]);
  jfloatArray result = env->NewFloatArray(size);
  env->SetFloatArrayRegion(result, 0, size, bananaTexCoords);
  return result;
 }
}

Activityのソースです。
Main.java(Activity)

package jp.fujiu.AndroidApp.BlenderBanana;

import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.FloatBuffer;

import javax.microedition.khronos.egl.EGLConfig;
import javax.microedition.khronos.opengles.GL10;

import jp.fujiu.AndroidApp.BlenderBanana.R;

import android.app.Activity;
import android.content.Context;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.graphics.Bitmap.Config;
import android.opengl.GLSurfaceView;
import android.opengl.GLU;
import android.opengl.GLUtils;
import android.opengl.GLSurfaceView.Renderer;
import android.os.Bundle;
import android.view.MotionEvent;
import android.view.Window;

public class Main_Banana extends Activity {
 static {
  System.loadLibrary("Banana");
 }
 
 private native int getBananaNumVerts();
 private native float[] getBananaVerts();
 private native float[] getBananaNormals();
 private native float[] getBananaTexCoords();
 
 private MainSurface surface = null;
 
 @Override
 public void onCreate(Bundle savedInstanceState) {
  super.onCreate(savedInstanceState);
  requestWindowFeature(Window.FEATURE_NO_TITLE); //タイトルバー非表示
 }
 
 @Override
 protected void onResume() {
  super.onResume();
  surface = new MainSurface(this);
  surface.setRenderer(surface);
  surface.setFocusable(true);
  surface.setKeepScreenOn(true);
  setContentView(surface);
 }
 
 @Override
 protected void onPause() {
  super.onPause();
  surface.setKeepScreenOn(false);
 }
 
 private class MainSurface extends GLSurfaceView implements Renderer{
  private int bananaNumVerts;
  private float[] bananaVerts;
  private float[] bananaNormals;
  private float[] bananaTexCoords;
  
  private FloatBuffer vertexBuff;//頂点座標バッファ
  private FloatBuffer normalBuff;//頂点座標バッファ
  private FloatBuffer coordBuff;
  
  //タッチの座標
  private float lastX = 0.0f; 
  private float lastY = 0.0f;
  
  //回転角度
  private float rotateX = 0.0f; 
  private float rotateY = 0.0f; 
  
  //テクスチャー
  private int[] textures = new int[1];
  
   public MainSurface(Context context) {
   super(context);
  }
  
  @Override
  public void onSurfaceCreated(GL10 gl, EGLConfig config) {
   bananaNumVerts = getBananaNumVerts();
   bananaVerts = getBananaVerts();
   bananaNormals = getBananaNormals();
   bananaTexCoords = getBananaTexCoords();
   
   //バッファの生成
   vertexBuff = makeFloatBuffer(bananaVerts);
   normalBuff = makeFloatBuffer(bananaNormals);
   coordBuff = makeFloatBuffer(bananaTexCoords);
   
   //背景の初期化
   gl.glClearColor(1.0f, 1.0f, 1.0f, 0.0f);
   gl.glClearDepthf(1.0f);
   
   //シェーディング
   gl.glShadeModel(GL10.GL_SMOOTH);
   
   //深度テスト
   gl.glEnable(GL10.GL_DEPTH_TEST);
   
   //モデルビュー変換
   gl.glMatrixMode(GL10.GL_MODELVIEW);
   gl.glLoadIdentity();
   
   //テクスチャ
   gl.glGenTextures(1, this.textures, 0);
   gl.glBindTexture(GL10.GL_TEXTURE_2D, this.textures[0]);
   
   //ビットマップの読み込み
   final BitmapFactory.Options options = new BitmapFactory.Options();
   options.inScaled = false;
   options.inPreferredConfig = Config.ARGB_8888;
   
   Bitmap bmp = BitmapFactory.decodeResource(getResources(), R.drawable.banana, options);
   GLUtils.texImage2D(GL10.GL_TEXTURE_2D, 0, bmp, 0);
   gl.glTexParameterf(GL10.GL_TEXTURE_2D, GL10.GL_TEXTURE_MIN_FILTER, GL10.GL_LINEAR);
   gl.glTexParameterf(GL10.GL_TEXTURE_2D, GL10.GL_TEXTURE_MAG_FILTER, GL10.GL_LINEAR);
   gl.glBindTexture(GL10.GL_TEXTURE_2D, 0);
   bmp.recycle();
   
   //テクスチャー表示設定
   gl.glEnable(GL10.GL_TEXTURE_2D);
   gl.glBindTexture(GL10.GL_TEXTURE_2D, textures[0]);
  }
  
  @Override
  public void onSurfaceChanged(GL10 gl, int width, int height) {
   //射影変換
   gl.glMatrixMode(GL10.GL_PROJECTION);
   gl.glLoadIdentity();
   gl.glViewport(0, 0, width, height);
   GLU.gluPerspective(gl, 45.0f, (float)width/(float)height, 0.1f, 100f);
  }
  
  @Override
  public void onDrawFrame(GL10 gl) {
   //背景塗り潰し
   gl.glClear(GL10.GL_COLOR_BUFFER_BIT|GL10.GL_DEPTH_BUFFER_BIT);
   
   gl.glVertexPointer(3, GL10.GL_FLOAT, 0, vertexBuff);
   gl.glEnableClientState(GL10.GL_VERTEX_ARRAY);
   
   gl.glNormalPointer(GL10.GL_FLOAT, 0, normalBuff);
   gl.glEnableClientState(GL10.GL_NORMAL_ARRAY);
   
   //テクスチャ
   gl.glTexCoordPointer(2 ,GL10.GL_FLOAT, 0, coordBuff);
   gl.glEnableClientState(GL10.GL_TEXTURE_COORD_ARRAY);
   
   gl.glPushMatrix();
   
   //視点
   GLU.gluLookAt(gl, 
     rotateX/10f, rotateY/10f, 3.0f, //カメラ座標
     0.0f, 0.0f, 0.0f, //カメラの向き
     0.0f, 1.0f, 0.0f  //カメラ上方向
    );
   
   
   gl.glDrawArrays(GL10.GL_TRIANGLES, 0, bananaNumVerts);
   
   gl.glPopMatrix();
   
   gl.glDisableClientState(GL10.GL_TEXTURE_COORD_ARRAY);
  }
  
  @Override 
  public boolean onTouchEvent(MotionEvent event) { 
   switch(event.getAction()){ 
    case MotionEvent.ACTION_DOWN: 
     lastX = event.getX(); 
     lastY = event.getY(); 
     break; 
    case MotionEvent.ACTION_MOVE: 
     rotateX += (event.getX() - lastX); 
     lastX = event.getX(); 
     rotateY += (event.getY() - lastY); 
     lastY = event.getY(); 
     break; 
   } 
   return true; 
  } 
 }

 private static FloatBuffer makeFloatBuffer(float[] arr) {
  ByteBuffer bb = ByteBuffer.allocateDirect(arr.length*4);
  bb.order(ByteOrder.nativeOrder());
  FloatBuffer fb = bb.asFloatBuffer();
  fb.put(arr);
  fb.position(0);
  return fb;
 }
}

これでカレントフォルダーをプロジェクトのjniフォルダーに移動し、ndk-buildを実行します。

起動するとこうなります。

画面をドラッグすると視点が動くようにしました。
~~バナナとバナナの中心点がかなり離れてるようで~~(気のせいでした)、大きく動かすと画面から消えてしまいます。

今回は頂点の配列をAndroid-NDK、それ以外をJavaで書いたのでエミュレーターで実行するとすごく遅いです。
FloatBufferの作成にすごく時間がかかります。バナナが表示されるまで2分くらいかかりました。
FloatBufferをシリアライズできればもっとスマートになるんですが。

Blenderモンキーの頂点＋法線ベクトルの組み合わせもソースが大きくてJavaではビルドできませんでした。objファイルをobj2opengl.plでhファイルに変換し、バナナと同じようにAndroid-NDKでビルドしました。光源で照らしてます。こちらはテクスチャがないのでエミュレーターに表示されるまで30秒くらいでした。

Android-NDKを使うデメリットはARMプラットフォームの端末しかサポートきなくなることです。x86版Android端末にはインストールすらできなくなります。
ただし、今のところ国内のAndroid端末はほとんどがARMベース（Qualcomm、Tegraなど）なので大きなデメリットではないと思います。

以上、参考になれば幸いです。

2011年7月9日土曜日

[Blender] obj2opengl.plをJava用に改造する

Blender object to OpenGL for Android Java

3DCG作成ツール「Blender」のobjファイルをC言語のhファイルに変換するperlスクリプト「obj2opengl.pl」を使ってみました。
obj2opengl: convert obj 3D models to arrays compatible with iPhone OpenGL ES « Heiko Behrens (Blog): http://heikobehrens.net/2009/08/27/obj2opengl/
からHBehrens-obj2opengl-a0f123e.zipをダウンロードしました。

BlenderのデータをAndroidでも使いたいのでobj2opengl.plをobjファイルをjavaファイルに変換するように改造してみました。

改造した内容は次の通りです。
・float型の数値にサフィックスfをつける
・クラス名・変数名が数字で始まる場合は先頭に「_」をつける
・unsigned intをintに変更
・クラス名・ファイル名の最初の文字が小文字なら大文字に変換する
・パッケージのステートメント追加
・FloatBuffer宣言の追加

ソースです。
obj2opengl4java.pl

#! /usr/bin/perl
=head1 NAME

 obj2opengl4java - converts obj files to arrays for gl.glDrawArrays

=head1 SYNOPSIS

 obj2opengl4java [options] file

=cut

use Getopt::Long;
use File::Basename;
use Pod::Usage;

# -----------------------------------------------------------------
# Main Program
# -----------------------------------------------------------------
handleArguments();

# derive center coords and scale factor if neither provided nor disabled
unless(defined($scalefac) && defined($xcen)) {
 calcSizeAndCenter();
}

if($verbose) {
 printInputAndOptions();
}

# TODO check integrity: Does every referenced vertex, normal and coord exist?
loadData();
normalizeNormals();

if($verbose) {
 printStatistics();
}

writeOutput();

# -----------------------------------------------------------------
# Sub Routines
# -----------------------------------------------------------------

sub handleArguments() {
 my $help = 0;
 my $man = 0;
 my $noscale = 0;
 my $nomove = 0;
 $verbose = 1;
 $errorInOptions = !GetOptions (
  "help" => \$help,
  "man"  => \$man,
  "noScale" => \$noscale,
  "scale=f" => \$scalefac,
  "noMove" => \$nomove,
  "center=f{3}" => \@center,
  "outputFilename=s" => \$outFilename,
  "nameOfObject=s" => \$object,
  "verbose!" => \$verbose,
  );
 
 if($noscale) {
  $scalefac = 1;
 }
 
 if($nomove) {
  @center = (0, 0, 0);
 }
 
 if(defined(@center)) {
  $xcen = $center[0];
  $ycen = $center[1];
  $zcen = $center[2];
 }
 
 if($#ARGV == 0) {
  my ($file, $dir, $ext) = fileparse($ARGV[0], qr/\.[^.]*/);
  $inFilename = $dir . $file . $ext;
 } else {
  $errorInOptions = true;
 }

 # (optional) derive output filename from input filename
 unless($errorInOptions || defined($outFilename)) {
  my ($file, $dir, $ext) = fileparse($inFilename, qr/\.[^.]*/);
  $object = $file;
  $classname = $file;
  $classname =~ s/(^\w)/\u$1/;
  $classname =~ s/(^\d)/_$1/;
  $outFilename = $dir . $classname . ".java";
 }
 
 # (optional) define object name from output filename
 unless($errorInOptions || defined($object)) {
  my ($file, $dir, $ext) = fileparse($outFilename, qr/\.[^.]*/);
  $object = $file;
 }
 
 ($inFilename ne $outFilename) or
  die ("Input filename must not be the same as output filename")
  unless($errorInOptions);
  
 if($errorInOptions || $man || $help) {
  pod2usage(-verbose => 2) if $man;
  pod2usage(-verbose => 1) if $help;
  pod2usage(); 
 }
 
 # check wheter file exists
 open ( INFILE, "<$inFilename" ) 
   || die "Can't find file '$inFilename' ...exiting \n";
 close(INFILE);
}

# Stores center of object in $xcen, $ycen, $zcen
# and calculates scaling factor $scalefac to limit max
#   side of object to 1.0 units
sub calcSizeAndCenter() {
 open ( INFILE, "<$inFilename" ) 
   || die "Can't find file $inFilename...exiting \n";

 $numVerts = 0;
 
 my (
  $xsum, $ysum, $zsum, 
  $xmin, $ymin, $zmin,
  $xmax, $ymax, $zmax,
  );

 while ( $line = <INFILE> ) {
   chop $line;
   
   if ($line =~ /v\s+.*/) {
   
     $numVerts++;
     @tokens = split(' ', $line);
     
     $xsum += $tokens[1];
     $ysum += $tokens[2];
     $zsum += $tokens[3];
     
     if ( $numVerts == 1 ) {
       $xmin = $tokens[1];
       $xmax = $tokens[1];
       $ymin = $tokens[2];
       $ymax = $tokens[2];
       $zmin = $tokens[3];
       $zmax = $tokens[3];
     } else {   
         if ($tokens[1] < $xmin) {
         $xmin = $tokens[1];
       } elsif ($tokens[1] > $xmax) {
         $xmax = $tokens[1];
       }
     
       if ($tokens[2] < $ymin) {
         $ymin = $tokens[2];
       } elsif ($tokens[2] > $ymax) {
         $ymax = $tokens[2];
       }
     
       if ($tokens[3] < $zmin) {
         $zmin = $tokens[3];
       } elsif ($tokens[3] > $zmax) {
         $zmax = $tokens[3];
       }
     
     }
  
   }
  
 }
 close INFILE;
 
 #  Calculate the center
 unless(defined($xcen)) {
  $xcen = $xsum / $numVerts;
  $ycen = $ysum / $numVerts;
  $zcen = $zsum / $numVerts;
 }
 
 #  Calculate the scale factor
 unless(defined($scalefac)) {
  my $xdiff = ($xmax - $xmin);
  my $ydiff = ($ymax - $ymin);
  my $zdiff = ($zmax - $zmin);
  
  if ( ( $xdiff >= $ydiff ) && ( $xdiff >= $zdiff ) ) {
    $scalefac = $xdiff;
  } elsif ( ( $ydiff >= $xdiff ) && ( $ydiff >= $zdiff ) )  {
    $scalefac = $ydiff;
  } else {
    $scalefac = $zdiff;
  }
  $scalefac = 1.0 / $scalefac;
 }
}

sub printInputAndOptions() {
 print "Input file     : $inFilename\n";
 print "Output file    : $outFilename\n";
 print "Object name    : $object\n";
 print "Center         : <$xcen, $ycen, $zcen>\n";
 print "Scale by       : $scalefac\n";
}

sub printStatistics() {
 print "----------------\n";
 print "Vertices       : $numVerts\n";
 print "Faces          : $numFaces\n";
 print "Texture Coords : $numTexture\n";
 print "Normals        : $numNormals\n";
}

# reads vertices into $xcoords[], $ycoords[], $zcoords[]
#   where coordinates are moved and scaled according to
#   $xcen, $ycen, $zcen and $scalefac
# reads texture coords into $tx[], $ty[] 
#   where y coordinate is mirrowed
# reads normals into $nx[], $ny[], $nz[]
#   but does not normalize, see normalizeNormals()
# reads faces and establishes lookup data where
#   va_idx[], vb_idx[], vc_idx[] for vertices
#   ta_idx[], tb_idx[], tc_idx[] for texture coords
#   na_idx[], nb_idx[], nc_idx[] for normals
#   store indizes for the former arrays respectively
#   also, $face_line[] store actual face string
sub loadData {
 $numVerts = 0;
 $numFaces = 0;
 $numTexture = 0;
 $numNormals = 0;
 
 open ( INFILE, "<$inFilename" )
   || die "Can't find file $inFilename...exiting \n";
 
 while ($line = <INFILE>) {
   chop $line;
   
   # vertices
   if ($line =~ /v\s+.*/) {
     @tokens= split(' ', $line);
     $x = ( $tokens[1] - $xcen ) * $scalefac;
     $y = ( $tokens[2] - $ycen ) * $scalefac;
     $z = ( $tokens[3] - $zcen ) * $scalefac;
     $xcoords[$numVerts] = $x; 
     $ycoords[$numVerts] = $y;
     $zcoords[$numVerts] = $z;
 
     $numVerts++;
   }
   
   # texture coords
   if ($line =~ /vt\s+.*/) {
     @tokens= split(' ', $line);
     $x = $tokens[1];
     $y = 1 - $tokens[2];
     $tx[$numTexture] = $x;
     $ty[$numTexture] = $y;
     
     $numTexture++;
   }
   
   #normals
   if ($line =~ /vn\s+.*/) {
     @tokens= split(' ', $line);
     $x = $tokens[1];
     $y = $tokens[2];
     $z = $tokens[3];
     $nx[$numNormals] = $x; 
     $ny[$numNormals] = $y;
     $nz[$numNormals] = $z;
 
     $numNormals++;
   }
   
   # faces
   if ($line =~ /f\s+([^ ]+)\s+([^ ]+)\s+([^ ]+)/) {
    @a = split('/', $1);
    @b = split('/', $2);
    @c = split('/', $3);
    $va_idx[$numFaces] = $a[0]-1;
    $ta_idx[$numFaces] = $a[1]-1;
    $na_idx[$numFaces] = $a[2]-1;
 
    $vb_idx[$numFaces] = $b[0]-1;
    $tb_idx[$numFaces] = $b[1]-1;
    $nb_idx[$numFaces] = $b[2]-1;
 
    $vc_idx[$numFaces] = $c[0]-1;
    $tc_idx[$numFaces] = $c[1]-1;
    $nc_idx[$numFaces] = $c[2]-1;
    
    $face_line[$numFaces] = $line;
    
  $numFaces++;
   }
 }
 
 close INFILE;
}

sub normalizeNormals {
 for ( $j = 0; $j < $numNormals; ++$j) {
  $d = sqrt ( $nx[$j]*$nx[$j] + $ny[$j]*$ny[$j] + $nz[$j]*$nz[$j] );
   
   if ( $d == 0 ) {
     $nx[$j] = 1;
     $ny[$j] = 0;
     $nz[$j] = 0;
   } else {
     $nx[$j] = $nx[$j] / $d;
     $ny[$j] = $ny[$j] / $d;
     $nz[$j] = $nz[$j] / $d;
   }
 }
}

sub writeOutput {
 open ( OUTFILE, ">$outFilename" ) 
   || die "Can't create file $outFilename ... exiting\n";
 
 print OUTFILE "/*\n";
 print OUTFILE "created with obj2opengl4java.pl\n\n";

 # some statistics
 print OUTFILE "source file    : $inFilename\n";
 print OUTFILE "vertices       : $numVerts\n";
 print OUTFILE "faces          : $numFaces\n";
 print OUTFILE "normals        : $numNormals\n";
 print OUTFILE "texture coords : $numTexture\n";
 print OUTFILE "\n\n";
 
 # example usage
 print OUTFILE "// make FloatBuffer and\n";
 print OUTFILE "// set input data to arrays\n";
 print OUTFILE "gl.glVertexPointer(3, GL10.GL_FLOAT, 0, ".$object."VertBuffer);\n";
 print OUTFILE "gl.glNormalPointer(GL10.GL_FLOAT, 0, ".$object."NormalBuffer);\n"
  if $numNormals > 0;
 print OUTFILE "gl.glTexCoordPointer(2, GL10.GL_FLOAT, 0, ".$object."TexCoordBuffer);\n"
  if $numTexture > 0;
 print OUTFILE "\n";
 print OUTFILE "// draw data\n";
 print OUTFILE "gl.glDrawArrays(GL10.GL_TRIANGLES, 0, ".$object."NumVerts);\n";
 print OUTFILE "*/\n\n";
 
 print OUTFILE "//FIXME\n";
 print OUTFILE "package jp.fujiu.obj2opengl4java;\n\n";
 print OUTFILE "import java.nio.FloatBuffer;\n\n";
 print OUTFILE "public class $classname {\n\n";

 # needed constant for glDrawArrays
 print OUTFILE "\tint ".$object."NumVerts = ".($numFaces * 3).";\n\n";
 
 # write verts
 print OUTFILE "\tfloat ".$object."Verts \[\] = {\n"; 
 for( $j = 0; $j < $numFaces; $j++) {
  $ia = $va_idx[$j];
  $ib = $vb_idx[$j];
  $ic = $vc_idx[$j];
  print OUTFILE "\t\t// $face_line[$j]\n";
  print OUTFILE "\t\t$xcoords[$ia]f, $ycoords[$ia]f, $zcoords[$ia]f,\n";
  print OUTFILE "\t\t$xcoords[$ib]f, $ycoords[$ib]f, $zcoords[$ib]f,\n";
  print OUTFILE "\t\t$xcoords[$ic]f, $ycoords[$ic]f, $zcoords[$ic]f,\n";
 }
 print OUTFILE "\t};\n\n";
 print OUTFILE "\tFloatBuffer ".$object."VertBuffer;\n\n";
 
 # write normals
 if($numNormals > 0) {
  print OUTFILE "\tfloat ".$object."Normals \[\] = {\n"; 
  for( $j = 0; $j < $numFaces; $j++) {
   $ia = $na_idx[$j];
   $ib = $nb_idx[$j];
   $ic = $nc_idx[$j];
   print OUTFILE "\t\t// $face_line[$j]\n";
   print OUTFILE "\t\t$nx[$ia]f, $ny[$ia]f, $nz[$ia]f,\n";
   print OUTFILE "\t\t$nx[$ib]f, $ny[$ib]f, $nz[$ib]f,\n";
   print OUTFILE "\t\t$nx[$ic]f, $ny[$ic]f, $nz[$ic]f,\n";
  }
  
  print OUTFILE "\t};\n\n";
  print OUTFILE "\tFloatBuffer ".$object."NormalBuffer;\n\n";
 }
 
 # write texture coords
 if($numTexture) {
  print OUTFILE "\tfloat ".$object."TexCoords \[\] = {\n"; 
  for( $j = 0; $j < $numFaces; $j++) {
   $ia = $ta_idx[$j];
   $ib = $tb_idx[$j];
   $ic = $tc_idx[$j];
   print OUTFILE "\t\t// $face_line[$j]\n";
   print OUTFILE "\t\t$tx[$ia]f, $ty[$ia]f,\n";
   print OUTFILE "\t\t$tx[$ib]f, $ty[$ib]f,\n";
   print OUTFILE "\t\t$tx[$ic]f, $ty[$ic]f,\n";
  }
  
  print OUTFILE "\t};\n\n";
  print OUTFILE "\tFloatBuffer ".$object."TexCoordBuffer;\n\n";
 }
 
 print OUTFILE "}\n";
 
 close OUTFILE;
}

obj2opengl4java.pl の使い方
obj2opengl4java.plはコマンドプロンプト(コンソール)で操作します。
変換したいオブジェクトファイルはHBehrens-obj2opengl-a0f123e.zipに含まれているcube.objとします。
obj2opengl4java.plとオブジェクトファイル(cube.obj)を同じフォルダーに保存します。
カレントフォルダーはファイルを保存したフォルダーとします。

WindowsならActivePerlなどをインストールしperl.exeのPath設定してコマンドプロンプトから
perl obj2opengl4java.pl cube.obj
と入力します。

CygwinやLinuxなら
./obj2opengl4java.pl cube.obj
と入力します。

成功するとCube.javaが作られます。
Cube.javaをAndroidプロジェクトにインポートし、パッケージ名を適切に修正してください。
Cube.java（コメント行は省略）

package jp.fujiu.AndroidApp.BlenderTest;
import java.nio.FloatBuffer;

public class Cube {
 int cubeNumVerts = 36;
 float cubeVerts [] = {
  // f 5 1 4
  0.499999812500094f, 0.499999750000125f, -0.499999812500094f,
  0.499999812500094f, -0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, -0.499999750000125f, -0.499999812500094f,
  // f 5 4 8
  0.499999812500094f, 0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, -0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, 0.499999750000125f, -0.499999812500094f,
  // f 3 7 8
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, 0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, 0.499999750000125f, -0.499999812500094f,
  // f 3 8 4
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, 0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, -0.499999750000125f, -0.499999812500094f,
  // f 2 6 3
  0.499999812500094f, -0.499999750000125f, 0.499999687500156f,
  0.499999312500344f, 0.499999750000125f, 0.500000187499906f,
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  // f 6 7 3
  0.499999312500344f, 0.499999750000125f, 0.500000187499906f,
  -0.499999687500156f, 0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  // f 1 5 2
  0.499999812500094f, -0.499999750000125f, -0.499999812500094f,
  0.499999812500094f, 0.499999750000125f, -0.499999812500094f,
  0.499999812500094f, -0.499999750000125f, 0.499999687500156f,
  // f 5 6 2
  0.499999812500094f, 0.499999750000125f, -0.499999812500094f,
  0.499999312500344f, 0.499999750000125f, 0.500000187499906f,
  0.499999812500094f, -0.499999750000125f, 0.499999687500156f,
  // f 5 8 6
  0.499999812500094f, 0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, 0.499999750000125f, -0.499999812500094f,
  0.499999312500344f, 0.499999750000125f, 0.500000187499906f,
  // f 8 7 6
  -0.499999687500156f, 0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, 0.499999750000125f, 0.499999687500156f,
  0.499999312500344f, 0.499999750000125f, 0.500000187499906f,
  // f 1 2 3
  0.499999812500094f, -0.499999750000125f, -0.499999812500094f,
  0.499999812500094f, -0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  // f 1 3 4
  0.499999812500094f, -0.499999750000125f, -0.499999812500094f,
  -0.499999687500156f, -0.499999750000125f, 0.499999687500156f,
  -0.499999687500156f, -0.499999750000125f, -0.499999812500094f,
 };
 FloatBuffer cubeVertBuffer;
}

Activityのソースです。
Main.java

package jp.fujiu.AndroidApp.BlenderTest;

import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.FloatBuffer;

import javax.microedition.khronos.egl.EGLConfig;
import javax.microedition.khronos.opengles.GL10;

import android.app.Activity;
import android.content.Context;
import android.opengl.GLSurfaceView;
import android.opengl.GLU;
import android.opengl.GLSurfaceView.Renderer;
import android.os.Bundle;
import android.view.Window;

public class Main extends Activity {
 private MainSurface surface = null;
 
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
  //タイトルを非表示
  requestWindowFeature(Window.FEATURE_NO_TITLE);
    }
    
 @Override
 protected void onResume() {
  super.onResume();
  surface = new MainSurface(getApplicationContext());
  surface.setRenderer( surface );
  surface.setFocusable(true);
  setContentView(surface);
 }

 @Override
 protected void onPause() {
  super.onPause();
  surface.onPause();
 }

    
 private class MainSurface extends GLSurfaceView implements Renderer{
  private Cube cube = null;
  
  private float xrot = 0.0f;
  private float yrot = 0.0f;

  //光源パラメーター
  private float[] lightAmbient=new float[]{0.3f,0.3f,0.3f,1.0f};
  private float[] lightDiffuse=new float[]{0.6f,0.6f,0.6f,1.0f};
  private float[] lightPos    =new float[]{0,0,3,1};
  private float[] matAmbient=new float[]{1f,1f,1f,1.0f};
  private float[] matDiffuse=new float[]{1f,1f,1f,1.0f};
  
  public MainSurface(Context context) {
   super(context);
  }

  @Override
  public void onSurfaceCreated(GL10 gl, EGLConfig config) {
   cube = new Cube();
   cube.cubeVertBuffer = makeFloatBuffer(cube.cubeVerts);
   
   //光源の指定
   gl.glEnable(GL10.GL_LIGHTING);
   gl.glEnable(GL10.GL_LIGHT0);
   gl.glMaterialfv(GL10.GL_FRONT_AND_BACK,GL10.GL_AMBIENT,matAmbient,0);
   gl.glMaterialfv(GL10.GL_FRONT_AND_BACK,GL10.GL_DIFFUSE,matDiffuse,0);
   gl.glLightfv(GL10.GL_LIGHT0,GL10.GL_AMBIENT,lightAmbient,0);
   gl.glLightfv(GL10.GL_LIGHT0,GL10.GL_DIFFUSE,lightDiffuse,0);
   gl.glLightfv(GL10.GL_LIGHT0,GL10.GL_POSITION,lightPos,0);
   
   //背景の初期化
   gl.glClearColor(1.0f, 1.0f, 1.0f, 0.0f);
   gl.glClearDepthf(1.0f);
   
   
   //深度テスト
   gl.glEnable(GL10.GL_DEPTH_TEST);
  }

  @Override
  public void onSurfaceChanged(GL10 gl, int width, int height) {
   //射影変換
   gl.glMatrixMode(GL10.GL_PROJECTION);
   gl.glLoadIdentity();
   gl.glViewport(0, 0, width, height);
   GLU.gluPerspective(gl, 45.0f, (float)width/(float)height, 0.1f, 100f);
   
   //モデルビュー変換
   gl.glMatrixMode(GL10.GL_MODELVIEW);
   gl.glLoadIdentity();
   GLU.gluLookAt(gl, 0.0f, 0.0f, 3.0f, 0.0f, 0.0f, 0.0f, 0.0f, 1.0f, 0.0f);
  }
  
  @Override
  public void onDrawFrame(GL10 gl) {
   //背景塗り潰し
   gl.glClear(GL10.GL_COLOR_BUFFER_BIT|GL10.GL_DEPTH_BUFFER_BIT);
   
   //頂点配列の指定
   gl.glVertexPointer(3, GL10.GL_FLOAT, 0, cube.cubeVertBuffer);
   gl.glEnableClientState(GL10.GL_VERTEX_ARRAY);
   
   gl.glPushMatrix();
   
   //回転の指定
   gl.glRotatef(xrot, 1.0f, 0.0f, 0.0f);
   gl.glRotatef(yrot, 0.0f, 1.0f, 0.0f);
   
   gl.glDrawArrays(GL10.GL_TRIANGLES, 0, cube.cubeNumVerts);
   
   gl.glPopMatrix();
   
   xrot += 1f;
   yrot += 2f;
  }
 }
 
 protected static FloatBuffer makeFloatBuffer(float[] arr) {
  ByteBuffer bb = ByteBuffer.allocateDirect(arr.length*4);
  bb.order(ByteOrder.nativeOrder());
  FloatBuffer fb = bb.asFloatBuffer();
  fb.put(arr);
  fb.position(0);
  return fb;
 }
}

このソースを実行するとこうなります。

Blenderで作った球体を回転させるサンプルも作ったらこんな感じになりました。（ソースは省略）

※ただの円に見えますが球です。

Javaにまつわる難点
BlenderのオブジェクトファイルをJavaソースに変換する上で大きな問題があります。
Javaの仕様により定数プールは65536エントリー以内と決められています。
コンストラクターやメソッドは65536バイト以内でなければいけません。
たとえばHBehrens-obj2opengl-a0f123e.zipに含まれるbanana.objは頂点の多いのでJavaソースに変換してもビルドできません。

「定数プールが65536エントリーを超えています」

頂点の多いポリゴンはAndroidで扱えないのでしょうか？
答えは「いいえ」です。その方法は･･･次回に続く。（7月16日予定）

以上、参考になれば幸いです。

2011年7月2日土曜日

シャープAndroidアプリ開発テクニカルセッション（2011年夏）

SHARP Android applications developers technical session (2011 summer)

Androidアプリ開発テクニカルセッションに参加してきました。

docomo AQUOS PHONE SH-12C
au AQUOS PHONE IS11SH
au AQUOS PHONE IS12SH
SoftBank AQUOS PHONE 006SH
SoftBank AQUOS PHONE 007SH
の各機種でOpenGLとAndroid-NDKを動作したところ従来の機種と同じように動作しました。
DalvikVMのJITコンパイラのおかげでより速く動くと期待してましたが、OpenGLのFPSはLYNX3D SH-03C(Android2.1)と変わりませんでした。

Wi-Fi sync Screenはiida INFOBAR A01と上記の全機種で正常に動作しました。
AirStation再起動問題が起きたらWi-Fi sync Screenをご利用ください。
持参したOpenGLとAndroid-NDKのサンプルがjp.co.sharp.android.stereo3dlcdのライブラリーを参照していたため、3D非対応のA01は少ししか試せませんでした。

全機種ともホームアプリはLYNX3Dに比べてなめらかでサクサク動いてました。指の動きをしっかり追随します。
YouTubeの3Dコンテンツも楽しいです。

以上、参考になれば幸いです。

2011年6月25日土曜日

[VOCALOID] VOCALOID2に英語の歌詞を流し込む（打ち込む）

How to fit english words to VOLCAOID2

巡音ルカを使って
This is a pen. I am a boy.
をドレミファソラシドの音階に合わせて歌わせてみます。

まずは日本語で歌わせます。深く考えずに歌いやすいように歌詞を音階にのせてみました。

(ド)ディス (レ)イズ (ミ)ア (ファ)ペン (ソ)アイ (ラ)アム (シ)ア (ド)ボーイ

日本語は１音１ノートなのでドレファソラドにはそれぞれ2音ずつ、レミシには2音ずつノートを書きます。
ノートと歌詞を入力した結果です。

実際に聞いてみると「ディス」の「ス」の発音が不自然だったので少しスペースを入れてます。いわゆる調教です。（もっと離してもいいかも）

次に英語の歌詞の入力です。
最大の問題は「英語の音節がどこで区切れるのかわからない」ということです。（わかる人もいるでしょうけど）
辞書を引けばすぐにわかりますが、手間をかけたくありません。
そこで考えたのが次の方法です。
まず、小さいノート（8分音符）をたくさん書きます。

次に、先頭のノートを選択して歌詞の流し込みをします。

歌詞が流し込まれた結果を見て、ノートを手動で調整します。余った小さいノートは消します。

「This is a pen. I am a boy.」はすべて1単語1音節でした。
実際に再生してみると「pen. I」が「ペン-ナイ」に、「am a」が「ア-マ」と発音して英語らしく聞こえます。

英語の歌詞をどう分割されるのか？
マニュアル30ページ以降に、英語の歌詞は1音節（1母音）を1ノートに入力するように書かれています。
「only」の発音は「o'unli」で母音が3つですが、実際に歌詞を流し込むと2ノートに分割されます。

VOCALOID Editorは辞書を内蔵していて、その内容に基づいて分割してくれます。

VOCALOIDの内蔵辞書にない単語は分割されません。「Floccinaucinihilipilification」という単語を流し込んでみましたが分割されませんでした。
辞書にない単語はマニュアルの音声記号一覧表を見ながら発音記号のシンボルを入力することになります。

Shuffle!VではVOCALOIDをしゃべらせてるのですが、この通り音節の区切りが難しく英語版VOCALOIDは歌詞の入力に苦労しました。
英語の音節の区切りは歌詞の流し込みによって自動分割に任せました。

ボーカロイドが音声案内するAndroidアプリを公開中です！

ストレッチを支援する Eye元気！2

カードの絵合わせゲーム Shuffle!V

以上、参考になれば幸いです。

2011年6月22日水曜日

mopitaマーケット

MtkのAndroidアプリがmopitaマーケットに掲載されました。

・slコマンド for Android
https://market.mopita.com/detail/?product_id=80000423

・Eye元気！
https://market.mopita.com/detail/?product_id=80001117

・Wi-Fi sync Screen
https://market.mopita.com/detail/?product_id=80001562

関係者の皆様にお礼申し上げます。

2011年6月18日土曜日

[Android] OpenGLでシャープ製端末用3D（立体視）アプリケーションを作る

How to create 3-dimensional Applications on OpenGL

[Android] 3Dアプリケーションの作り方でSH Developers Squareの3D（立体視）用ライブラリーのインストールについて書きました。
このライブラリーを使って立体視可能なOpenGLアプリケーションを作ってみました。

※画像はイメージです

立体視アプリを作るためにはサイドバイサイド画像を表示します。
サイドバイサイド画像とは、左半分に左目からの視線に映る映像を、右半分に右目からの視線に映る映像を並べた画像です。左右の画像それぞれ横の解像度を半分に縮小します。
サイドバイサイド画像のサンプルです。左右とも同じCGですが少しだけ視点を変えてます。

この画像はピアプロ・キャラクター・ライセンスに基づいてクリプトン・フューチャー・メディア株式会社のキャラクター「鏡音リン」「鏡音レン」を描いたものです。

3D用ライブラリーは自動的に左右の画像を1ドットずつ交互に並べ替えて視差バリアで左目と右目にそれぞれに映像を見せる処理をしてくれます。

立体視アプリを作るに当たり、次の手順は完了しているものとします。

SH Develpoers Squareにユーザー登録しライブラリーをダウンロードする
ライブラリーをAndroid SDKのadd-onsフォルダーに解凍する
EclipseでAndroidプロジェクトを新規作成し、Build targetの「Sharp_addon」を選択する（Build targetは2.1以上ならどれでもOK）

OpenGLでサイドバイサイド画像を表示するには、1フレームごとに画面の左半分に左目の視線の映像を描画した後、右半分に右目の視線の映像を描画します。
今回のサンプルはGoogle codeのソースを参考に立体視アプリ用にアレンジしました。キューブが回転しながら前後左右に動きます。

マニフェスト(AndroidManifest.xml)

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
 package="jp.fujiu.AndroidApp.ThreeDsample"
 android:versionCode="1"
 android:versionName="1.0">
 <uses-sdk android:minSdkVersion="7" />
 <application android:icon="@drawable/icon" android:label="@string/app_name">
  <activity android:name=".Main"
    android:configChanges="keyboardHidden|orientation" android:screenOrientation="landscape">
   <intent-filter>
    <action android:name="android.intent.action.MAIN" />
    <category android:name="android.intent.category.LAUNCHER" />
   </intent-filter>
  </activity>
 <uses-library android:name="jp.co.sharp.android.stereo3dlcd"/>
 </application>
</manifest>

Activity(Main.java)

package jp.fujiu.AndroidApp.ThreeDsample;

import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.FloatBuffer;

import javax.microedition.khronos.egl.EGLConfig;
import javax.microedition.khronos.opengles.GL10;

import jp.co.sharp.android.stereo3dlcd.SurfaceController;

import android.app.Activity;
import android.content.Context;
import android.opengl.GLSurfaceView;
import android.opengl.GLU;
import android.opengl.GLSurfaceView.Renderer;
import android.os.Bundle;
import android.view.MotionEvent;
import android.view.Window;

public class Main extends Activity {
 private MainSurface surface = null;
 
 @Override
 public void onCreate(Bundle savedInstanceState) {
  super.onCreate(savedInstanceState);
  //タイトルを非表示
  requestWindowFeature(Window.FEATURE_NO_TITLE);
 }
 
 @Override
 protected void onResume() {
  super.onResume();
  surface = new MainSurface(this);
  surface.setRenderer(surface);
  surface.setFocusable(true);
  surface.setKeepScreenOn(true);
  setContentView(surface);
 }
 
 @Override
 protected void onPause() {
  super.onPause();
  surface.setKeepScreenOn(false);
 }

 private class MainSurface extends GLSurfaceView implements Renderer{
  private SurfaceController sc = null;
  
  //頂点座標
  private float vertices[] = new float[] {
   //前面
   -0.5f, -0.5f,  0.5f,
    0.5f, -0.5f,  0.5f,
   -0.5f,  0.5f,  0.5f,
    0.5f,  0.5f,  0.5f,
   //背面
   -0.5f, -0.5f, -0.5f,
   -0.5f,  0.5f, -0.5f,
    0.5f, -0.5f, -0.5f,
    0.5f,  0.5f, -0.5f,
   //左面
   -0.5f, -0.5f,  0.5f,
   -0.5f,  0.5f,  0.5f,
   -0.5f, -0.5f, -0.5f,
   -0.5f,  0.5f, -0.5f,
   //右面
    0.5f, -0.5f, -0.5f,
    0.5f,  0.5f, -0.5f,
    0.5f, -0.5f,  0.5f,
    0.5f,  0.5f,  0.5f,
   //上面
   -0.5f,  0.5f,  0.5f,
    0.5f,  0.5f,  0.5f,
   -0.5f,  0.5f, -0.5f,
    0.5f,  0.5f, -0.5f,
   //下面
   -0.5f, -0.5f,  0.5f,
   -0.5f, -0.5f, -0.5f,
    0.5f, -0.5f,  0.5f,
    0.5f, -0.5f, -0.5f,
  };

  //頂点座標バッファ
  private FloatBuffer vertexBuff;

  //オブジェクトの回転角度
  private float xrot = 0.0f;
  private float yrot = 0.0f;
  
  //描画範囲
  private int width;
  private int halfWidth;
  private int height;
  
  //3D・2D切替フラグ
  private boolean is3D = true;
  private boolean resetViewport = false;

   public MainSurface(Context context) {
   super(context);
   sc = new SurfaceController(this);
   sc.setStereoView(true);
  }

  @Override
  public void onSurfaceCreated(GL10 gl, EGLConfig config) {
   //背景の初期化
   gl.glClearColor(1.0f, 1.0f, 1.0f, 0.0f);
   gl.glClearDepthf(1.0f);
   
   //バッファの生成
   vertexBuff = makeFloatBuffer(vertices);
   
   //シェーディング
   gl.glShadeModel(GL10.GL_SMOOTH);
   
   //深度テスト
   gl.glEnable(GL10.GL_DEPTH_TEST);
   
   //モデルビュー変換
   gl.glMatrixMode(GL10.GL_MODELVIEW);
   gl.glLoadIdentity();
  }
  
  @Override
  public void onSurfaceChanged(GL10 gl, int width, int height) {
   //描画範囲の初期化
   this.width = width;
   this.halfWidth = width / 2;
   this.height = height;
   
   //射影変換
   gl.glMatrixMode(GL10.GL_PROJECTION);
   gl.glLoadIdentity();
   GLU.gluPerspective(gl, 45.0f, (float)width/(float)height, 0.1f, 100f);
  }

  @Override
  public void onDrawFrame(GL10 gl) {
   //背景塗り潰し
   gl.glClear(GL10.GL_COLOR_BUFFER_BIT|GL10.GL_DEPTH_BUFFER_BIT);
   
   if (is3D) {
    //(1)左の描画
    gl.glViewport(0, 0, this.halfWidth, this.height);
    gl.glPushMatrix();
    GLU.gluLookAt(
     gl, 
     -0.05f, 0.0f, 3.0f, //カメラ座標
     0.01f, 0.0f, 0.0f, //カメラの向き
     0.0f, 1.0f, 0.0f  //カメラ上方向
    );
    drawObjects(gl);
    gl.glPopMatrix();
    
    //(2)右の描画
    gl.glViewport(this.halfWidth, 0, this.halfWidth, this.height);
    gl.glPushMatrix();
    GLU.gluLookAt(
     gl, 
     0.05f, 0.0f, 3.0f, //カメラ座標
     -0.01f, 0.0f, 0.0f, //カメラの向き
     0.0f, 1.0f, 0.0f  //カメラ上方向
    );
    drawObjects(gl);
    gl.glPopMatrix();
   } else {
    //単視点の描画
    if (resetViewport) {
     gl.glViewport(0, 0, this.width, this.height);
     resetViewport = false;
    }
    gl.glPushMatrix();
    GLU.gluLookAt(
     gl, 
     0.0f, 0.0f, 3.0f, //カメラ座標
     0.0f, 0.0f, 0.0f, //カメラの向き
     0.0f, 1.0f, 0.0f  //カメラ上方向
    );
    drawObjects(gl);
    gl.glPopMatrix();
   }
   
   //キューブの回転
   xrot += 1.0f;
   yrot += 0.5f;
  }
  
  /**
   * This method is used in substitution for #onDrawFrame.
   * onDrawFrameメソッドの代わりにプリミティブを表示する処理を書く
   * @param gl the GL interface.
   */
  private void drawObjects(GL10 gl){
   gl.glVertexPointer(3, GL10.GL_FLOAT, 0, vertexBuff);
   gl.glEnableClientState(GL10.GL_VERTEX_ARRAY);
   
   gl.glPushMatrix();
   
   //回転
   gl.glRotatef(xrot, 1.0f, 0.0f, 0.0f);
   gl.glRotatef(yrot, 0.0f, 1.0f, 0.0f);
   
   //移動
   gl.glTranslatef(1f, 1f, 0.0f);
   
   //赤い面の描画
   gl.glColor4f(1.0f, 0.0f, 0.0f, 1.0f);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 0, 4);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 4, 4);
  
   //緑の面の描画
   gl.glColor4f(0.0f, 1.0f, 0.0f, 1.0f);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 8, 4);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 12, 4);
   
   //青い面の描画
   gl.glColor4f(0.0f, 0.0f, 1.0f, 1.0f);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 16, 4);
   gl.glDrawArrays(GL10.GL_TRIANGLE_STRIP, 20, 4);
   
   gl.glPopMatrix();
  }
  
  @Override
  public boolean onTouchEvent(MotionEvent event) {
   switch (event.getAction()){
    case MotionEvent.ACTION_UP:
     //3D・2D切替
     is3D = !is3D;
     sc.setStereoView(is3D);
     resetViewport = true;
     break;
   }
   return true;
  }
 }
 
 private static FloatBuffer makeFloatBuffer(float[] arr) {
  ByteBuffer bb = ByteBuffer.allocateDirect(arr.length*4);
  bb.order(ByteOrder.nativeOrder());
  FloatBuffer fb = bb.asFloatBuffer();
  fb.put(arr);
  fb.position(0);
  return fb;
 }
}

res/values/string.xmlは自動生成された内容を使ってます。
レイアウト用xmlは使用しません。

画面をタップするたびに3Dと2Dが切り替わります。
画面の向きは横に固定していますが、縦向きでも立体視できます。
立体感を演出するポイントはonDrawFrameメソッドの「(1)左の描画」「(2)右の描画」のGLU.gluLookAtによる視点の位置と向きです。
左右の視差を大きくすれば立体感も増えますが、大きくしすぎると映像が乱れて見えます。
このサンプルでは視点の位置は固定ですが、視点が移動するアプリでも右の描画の時だけ視点のX座標の位置と向きを変えるだけです。
ライブラリーのおかげで簡単に立体視化できますし、既存のOpenGLアプリの立体視化も簡単にできそうです。
立体視アプリケーションの開発コストはほとんど変わらないと思います。
ただし、横方向の実質的な解像度が半分になる、描画処理が2倍に増えるなどのデメリットがあります。仕様によってはパフォーマンス向上のため、やむなくポリゴンを減らす必要があるかもしれません。
サイドバイサイド方式は、どれだけフレームレートの低い端末でもちゃんとステレオ表示できるのが強みです。

立体視アプリ実行中のスクリーンショットはこんな画像です。

ポリゴンはサイドバイサイドで表示されてますが、タスクバーが1ドットごとにシャッフルされてます。
3Dテレビやニンテンドー3DSなど立体視のコンテンツが増えているので知っていて損はない技術だと思います。

キーワード
side by side image GLSurfaceView Renderer jp.co.sharp.android.stereo3dlcd.SurfaceController LYNX3D SH-30C GALAPAGOS SoftBank 003SH 005SH AQUOS PHONE 006SH SH-12C

以上、参考になれば幸いです。

2011年6月11日土曜日

[VOCALOID] ボーカロイドのトラブルシューティング

Troubleshooting problems with VOCALOID2

Eye元気！ではVOCALOIDをしゃべらせてます。VOCALOID2を使うに当たって直面したトラブルと対処方法などを書きます。

1.「合成エンジンを開けません！」
2.DAW（デジタル・オーディオ・ワークステーション）でVOCALOID MIDIを取り込んで再生するとテンポが合わない
3.VOCALOID MIDIのトラッだけ発音が遅い
4.VOCALOIDの声が小さい
5.MACでVOCALOIDを使いたい

1.「合成エンジンを開けません！」

VOCALOID2 初音ミクをインストール
↓
VOCALOID 2.0.12アップデータをインストール
↓
VOCALOID2 鏡音リンレンACT2をインストール

の順でWindows7にインストールするとVOCALOID2起動時にこのエラーが発生して起動しなくなります。
今まで使えていたVOCALOID2初音ミクまで使えなくなってしまう酷いトラブルです。
解決方法はDSE2.dllを自分で削除してVOCALOID2 鏡音リンレンACT2をインストールし直すことです。
DSE2.dllは64bit-Windowsなら
C:\Program Files (x86)\VOCALOID2
32bit-Windowsなら
C:\Program Files\VOCALOID2
にあります。
リンレンACT2のVOCALOIDは 2.0.6と古いので、もう一度VOCALOID 2.0.12アップデータをインストールしようとしたら、今度はVOCALOID 2.0.12アップデータのインストールがいつまでたっても進みません。
Windowsをセーフモードで起動したらVOCALOID 2.0.12アップデータのインストールができました。
Windows7のシャドーコピーや復元ポイントの機能が影響してるようです。
クリプトンのサポートページ（http://www.crypton.co.jp/mp/do/support/faq?id=360、要ログイン）にそれっぽいことが書かれてますが、DSE2.dllを削除することやセーフモードについては触れられていません。

2.DAWでVOCALOID MIDIを取り込んで再生するとテンポが合わない
VOCALOID Editorにテンポを設定せずに書き出したVOCALOID MIDIファイルを、DAWのVLOCALOID2 VSTトラックで再生するとVOCALOID2トラックが遅くなっていくことがありました。
VOCALOID Editorの1小節目にDAWのプロジェクトと同じテンポを設定してからVOCALOID MIDIに書き出せばテンポが合うようになりました。

3.VOCALOID MIDIのトラックだけ発音が遅い・タイミングがあわない
PCのスペックが低いと起こる症状みたいです。VOCALOID MIDIトラックだけタイミングをずらせばいいのですが微調整が難しいです。
対策方法は
●VOCALOID MIDIトラックをDAWの機能でオーディオトラックに変換してオーディオデータを編集してタイミングを合わせる
●VOCALOID EditorでWAVEファイルに書き出してオーディオデータを扱う
→VOCALOIDをスタンドアローンで使用するのでリアルタイムにDAWのエフェクターをかけられない
●Rewireを使う
→32bitのDAWのみ可能、しかもrewire.dllのインストールが別途必要。
●VST realtimeを使う
→VOCALOID Editorと操作方法が異なる、特に歌詞を合わせることが難しい
などがあります。どの方法もデメリットが大きいです。

4.VOCALOIDの声が小さい
DAW側で音量を持ち上げる処理をしました。
●Make up Gainの調整が可能なダイナミクス系のエフェクトを通す（Maximizer、Compresserなど）
●Waveファイルに書き出してオーディオ編集用フリーウェア「Sound Engine Free」で正規化する
など

5.MACでVOCALOIDを使いたい
VOCALOIDシリーズは今のところWindows専用です。
VOCALOID Editorから書き出したWaveファイルはMACのGarageBandなどで扱えます。
MacOSでVOCALOID Editorは使えませんが、Intel MACならWindowsとのデュアルブート構成にすれば、WindowsでVOCALOID Editorを使うことができます。
Waveファイルに書き出すだけならスペックの低いPCでも可能ですが、VOCALOID Editorを快適に編集するには2GHz以上かつ2コア以上のCPUが必要だと思います。
シングルコア 1.7GHｚ～2.7GHzのCPUではVOCALOID Editor再生中にノイズが入ることがありました。
VOCALOIDのためにWindowsを仮想OSとして動かしたり、安いだけのWindowsネットブックを買うくらいならIntel MACをデュアルブートで使う方が快適だと思います。

インストールからDAWとの連携まで操作が難しいVOCALOIDですが、MIDIキーボードで歌わせると楽しいです。
手間をかけてインストールした甲斐があります。
試行錯誤の結果、VOCALOID Editorを単体で使わず打ち込みを編集するときはDAWとRewireで、MIDIキーボードで歌わせるときはDAWのVOCALOID VSTで動作させてます。
VOCALOID3はEditorの機能が強化されるようなので、単体でも使いやすくなりそうです。

以上、参考になれば幸いです。

登録: 投稿 (Atom)

新アプリケーション