Mtk's Blog: [Android] Android-NDK(JNI)で画像ファイルをデコードする

How to decode image files on JNI
前回までにOpenGLとAndroid-NDK(JNI)で画像をテクスチャとして表示するアプリのソースをいくつか紹介させて頂きました。
前回はAndroid-SDK(Java)のAPIを使って画像ファイルをRBGのビットマップ配列にデコードし、JNIに渡す方法を使いました。

今回はAndroid-NDKを使ってJNIでSDカード内の画像ファイルをデコードする機能を作ってみました。

仕様は次の通りです。
1. JavaのコードからJNIに画像ファイルのパスを渡す。
2. JNIで画像ファイルをデコードしint配列のビットマップとしてJavaで受け取る。
3. int配列のビットマップをImageViewerに表示する。

JNI(C言語)で画像ファイルをデコードするため
http://nothings.org/
で公開されている stb_image.c を使いました。

stb_image.c はプロジェクトの
jni
フォルダーにコピーします。C言語のソースファイルやAndroid.mkと同じ場所です。

このブログを書いている時点の開発環境は次の通りです。
・Windows8 (64bit)
・Eclipse Juno (32bit)(XP互換モードで起動)
・Android SDK r21.0.1
・Cygwin
・Android-NDK-r8d

以下ソースです。

MainActivity.java

package jp.fujiu.NdkImageLoader;

import java.io.File;
import java.util.ArrayList;

import android.os.AsyncTask;
import android.os.Bundle;
import android.os.Environment;
import android.app.Activity;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.util.Log;
import android.view.Menu;
import android.view.View;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.Toast;

public class MainActivity extends Activity {
 static {
  System.loadLibrary("jni");
 }
 
 private native void setNdkPathName(String pathName);
 private native int[] getNdkImagePixels();
 private native int getNdkImageWidth();
 private native int getNdkImageHeight();

 private ImageView imageView;
 
 
 //画像ファイルの拡張子
 private static final String[] EXTENTIONS = new String[]{".png", ".jpg", ".jpeg", ".gif"};
 
 //画像ファイル
 private ArrayList<String> fileLlist = null;
 private int llistIndex;

 //ファイルリスト処理中フラグ
 private boolean isListReady = false;

 //画像ファイルを検索するためのAsyncTask
 private class ReadFileTask extends AsyncTask<Object, Object, Object>{
  @Override
  protected Object doInBackground(Object... params) {
   //排他フラグロック
   isListReady = false;
   
   // SDへのパス取得
   String sdPath = getSdPath();

   
   //画像ファイルのパスをリストアップ
   fileLlist = new ArrayList<String>();
   readFileList(sdPath);
   llistIndex = 0;
   
   return null;
  }

  @Override
  protected void onPostExecute(Object result) {
   //排他フラグ解除
   isListReady = true;
   //最初の画像表示
   showPrevImage(0);
  }
 }
 
 @Override
 protected void onCreate(Bundle savedInstanceState) {
  super.onCreate(savedInstanceState);
  setContentView(R.layout.activity_main);
  
  imageView = (ImageView) findViewById(R.id.imageView1);
  
  Button button1 = (Button) findViewById(R.id.button1);
  button1.setOnClickListener(new View.OnClickListener() {
   @Override
   public void onClick(View v) {
    showPrevImage(1);
   }
  });
 }
 
 @Override
 protected void onResume() {
  super.onResume();
  
  if (fileLlist == null) {
   //非同期で画像ファイルのパスをリストアップ
   ReadFileTask readFileTask = new ReadFileTask();
   readFileTask.execute(null, null, null);
  }
 }


 @Override
 public boolean onCreateOptionsMenu(Menu menu) {
  getMenuInflater().inflate(R.menu.main, menu);
  return true;
 }

 private void readFileList(String path) {
  File[] files = new File(path).listFiles();
  int len = files.length;
  for (int i = 0; i < len; i++) {
   File f = files[i];
   if (f.isHidden() == false) {
    if (f.isFile()) {
     // 拡張子によるフィルター
     int exPosi = f.getAbsolutePath().lastIndexOf(".");
     if (exPosi > -1) {
      //ファイルの拡張子の種類が画像ならファイルのフルパスをリストに追加
      String extension = f.getAbsolutePath().substring(exPosi);
      for (int j = 0; j < EXTENTIONS.length; j++) {
       if (extension.equalsIgnoreCase(EXTENTIONS[j])) {
        fileLlist.add(f.getAbsolutePath());
        break;
       }
      }
     }
    } else {
     readFileList(f.getAbsolutePath());
    }
   }
  }
 }

 private String getSdPath() {
  String sdPath;

  // Sumsung, Vi30
  sdPath = System.getenv("EXTERNAL_STORAGE2");
  if (sdPath != null) {
   return sdPath;
  }

  // 旧 Sumsung, SH-03C, IS01
  sdPath = System.getenv("EXTERNAL_STORAGE");
  if (sdPath != null) {
   return sdPath;
  }

  // MOTOROLA
  sdPath = System.getenv("EXTERNAL_ALT_STORAGE");
  if (sdPath != null) {
   return sdPath;
  }

  sdPath = Environment.getExternalStorageDirectory().getPath();

  // HTC
  File file = new File(sdPath + "/ext_sd");
  if (file.exists()) {
   sdPath = file.getPath();
  }

  return sdPath;
 }
 
 //次の画像を表示
 private void showPrevImage(int diff){
  if (isListReady){
   if (fileLlist.size()>0){
    llistIndex += diff;
    if (llistIndex < 0){
     llistIndex -= diff;
     Toast.makeText(getApplicationContext(), "First", Toast.LENGTH_SHORT).show();
     return;
    } else if (llistIndex >= fileLlist.size()){
     llistIndex -= diff;
     Toast.makeText(getApplicationContext(), "Last", Toast.LENGTH_SHORT).show();
     return;
    }
    
    long beforeTime = System.currentTimeMillis();
    
    // 1. JavaのコードからJNIに画像ファイルのパスを渡す。
    setNdkPathName(fileLlist.get(llistIndex));
 
    Log.d("JNI", String.valueOf(System.currentTimeMillis() - beforeTime) + "ms");

    
    // 2. JNIで画像ファイルをデコードしint配列としてJavaで受け取る
    int[] pixels = getNdkImagePixels();
    int width = getNdkImageWidth();
    int height = getNdkImageHeight();
    
    // 3. int配列を画像ビットマップにデコードしImageViewerに表示する。
    Bitmap image = Bitmap.createBitmap(pixels, width, height, Bitmap.Config.ARGB_8888);
    imageView.setImageBitmap(image);
    
    /*
    //テストベンチマーク用デコード処理
    Log.d("width", String.valueOf(width));
    Log.d("height", String.valueOf(height));
    beforeTime = System.currentTimeMillis();
    Bitmap bmp = BitmapFactory.decodeFile(fileLlist.get(llistIndex));
    int w = bmp.getWidth();
    int h = bmp.getHeight();
    int[] p = new int[w * h];
    bmp.getPixels(p, 0, width, 0, 0, width, height);
    Log.d("Java", String.valueOf(System.currentTimeMillis() - beforeTime) + "ms");
    bmp.recycle();
    */
   } else {
    //SDカードに画像が保存されていない場合のメッセージ
    Toast.makeText(getApplicationContext(), "No image files", Toast.LENGTH_SHORT).show();
   }
  } else {
   //SDカードに画像ファイル検索中のメッセージ
   Toast.makeText(getApplicationContext(), "Pease wait", Toast.LENGTH_SHORT).show();
  }
 }
}

activity_main.xml (res/layoutフォルダー)

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent"
    android:orientation="vertical"
    tools:context=".MainActivity" >

    <Button
        android:id="@+id/button1"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="button1" />

    <ImageView
        android:id="@+id/imageView1"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:scaleType="matrix"
        android:src="@drawable/ic_launcher" />

</LinearLayout>

jni.cpp

#include <jni.h>
#include "stb_image.c"
extern "C" {
 unsigned char* pixels;
 int width;
 int height;
 int bpp;
 
 //画像のファイル名を受け取り画像ファイルをデコードする
 JNIEXPORT void JNICALL Java_jp_fujiu_NdkImageLoader_MainActivity_setNdkPathName
   (JNIEnv * env, jobject, jstring path){
  const char* str = env->GetStringUTFChars(path, NULL);
  char* filePath = strdup( (char*) str);
  env->ReleaseStringUTFChars(path, str);
  pixels = stbi_load(filePath, &width, &height, &bpp, 0);
 }
 
 //画像のピクセルをAndroid-SDKで扱えるARGBのビットマップ配列に変換し返す
 JNIEXPORT jintArray JNICALL Java_jp_fujiu_NdkImageLoader_MainActivity_getNdkImagePixels
   (JNIEnv *env, jobject){
  int size = width * height;
  int *intPixels = new int[size];
  
  for (int i=0; i<size; i++){
   int j = i * bpp;
   int pix = 0;
   pix += pixels[j]; //red
   pix lt;lt;= 8;
   pix += pixels[j + 1]; //green
   pix lt;lt;= 8;
   pix += pixels[j + 2]; //brue
   pix += 0xff000000; //ahpha
   intPixels[i] = pix;
  }
  
  stbi_image_free(pixels);
  
  jintArray result = env->NewIntArray(size);
  env->SetIntArrayRegion(result, 0, size, intPixels);
  delete[] intPixels;
  return result;
 }
 
 //画像の幅を返す
 JNIEXPORT jint JNICALL Java_jp_fujiu_NdkImageLoader_MainActivity_getNdkImageWidth
   (JNIEnv *, jobject){
  return width;
 }
 
 //画像の高さを返す
 JNIEXPORT jint JNICALL Java_jp_fujiu_NdkImageLoader_MainActivity_getNdkImageHeight
   (JNIEnv *, jobject){
  return height;
 }
}

Android.mk

LOCAL_PATH := $(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE    := jni
LOCAL_SRC_FILES := jni.cpp
LOCAL_LDLIBS := -llog
APP_ABI := all
LOCAL_ARM_MODE := arm
include $(BUILD_SHARED_LIBRARY)

※特別な権限(Permission)は不要なのでマニフェストは省略します。
Target SDK Version が4以上の設定でビルドできます。
Android1.6以降で動作します。
Android-NDKのビルド方法は環境に強く依存するので省略させて頂きます。

実行するとSDカードを検索して最初に見つけた画像を表示します。
ボタンをタップするたびに画像ファイルを見つけた順に表示します。

前回同様Anndroid2.xでは OutOfMemoryError が起きやすいです。改善の余地ありです。

JNIとJavaとで画像ファイルをint配列にデコードするまでの時間を比べてみました。
測定したのはONDA Vi30というAndroid4.1.1の中華Padです。
過去のベンチマークからVi30はthumbモードよりarmモードの方が速いことが分かっているのでarmモードでビルドしました。

画像のサイズ	JNI	Java
600 x 1024	82ms	189ms
950 x 483	62ms	82ms
1680 x 1050	199ms	257ms

全く同じ処理内容ではないので断言できませんがJNIの方が速そうです。

余談
JNIで画像の伸縮ができればJavaを使わずにOpen GLのテクスチャー用に加工することができるはずです。
前回悩まされた OutOfMemoryError も減るはず、と思ったのですが残念ながらAndroid-NDKにはCanvas APIがありません。
とても難しそうですがいつかはチャレンジしてみたいと思います。

関連ブログ
[Android] OpenGLの簡易画像ビュアーをAndroid-NDKでビルドする (失敗談)
[Android] BitmapクラスのOutOfMemoryErrorを防ぐ
[Android] BitmapクラスのOutOfMemoryErrorを防ぐ #2
[Android] フリーサイズの画像をOpenGLのテクスチャに表示する
[Android] OpenGLで簡易画像ビュアーを作る
[Android] ジェスチャーでOpenGL簡易画像ビュアーに拡大縮小機能を追加する
[Android] OpenGLでプロ生ちゃんをアニメーションさせる
[Android] OpenGL ESで文字を表示する
[Android] OpenGLで頂点の多いポリゴンを扱うには
[Android] OpenGLでシャープ製端末用3D（立体視）アプリケーションを作る
[Blender] obj2opengl.plをJava用に改造する
[Windows8][Android] Can't bind to local 8600 for debugger

以上、参考になれば幸いです。

Mtk's Blog

2013年7月6日土曜日

[Android] Android-NDK(JNI)で画像ファイルをデコードする

0 件のコメント:

コメントを投稿