完成 Android 相机预览功能以后，在此基础上我使用 dlib 与 opencv 库做了一个关于人脸检测的 demo。该 demo 在相机预览过程中对人脸进行实时检测，并将检测到的人脸用矩形框描绘出来。具体实现原理如下：
采用双层 View，底层的 TextureView 用于预览，程序从 TextureView 中获取预览帧数据，然后调用 dlib 库对帧数据进行处理，最后将检测结果绘制在顶层的 SurfaceView 中。
2 项目配置由于项目中用到了 dlib 与 opencv 库，因此需要对其进行配置。主要涉及到以下几个方面：
2.1 C++支持在项目创建过程中依次选择 Include C++ Support、C++11、Exceptions Support ( -fexceptions ）以及 Runtime Type Information Support ( -frtti ) 。最后生成的 build.gradle 文件如下：
defaultConfig { applicationId "com.example.lightweh.facedetection" minSdkVersion 23 targetSdkVersion 28 versionCode 1 versionName "1.0" testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner" externalNativeBuild { cmake { arguments "-DCMAKE_BUILD_TYPE=Release" cppFlags "-std=c++11 -frtti -fexceptions" } } }其中，arguments 参数是后添加上去的，主要用于指定 CMake 的编译模式为 Release，因为在 Debug 模式下 dlib 库中相关算法的运行速度非常慢。前期如果需要调试 C++ 代码，可先将 arguments 参数注释。
2.2 dlib 与 opencv 下载到dlib官网下载最新版本的源码，解压后将文件夹中的dlib目录复制到 Android Studio 工程的 cpp 目录下。
到 sourceforge 下载最新的 opencv-android 库，解压后将文件夹中的 native 目录同样复制到 Android Studio 工程的 cpp 目录下，并改名为 opencv。
2.3 CMakeLists 配置在 CMakeLists 文件中，我们首先包含 dlib 的 cmake 文件，接下来添加 opencv 的 include 文件夹并引入 opencv 的 so 库，同时将 jni_common 目录中的文件及人脸检测相关文件添加至 native-lib 库中，最后进行链接。
# 设置native目录 set(NATIVE_DIR ${CMAKE_SOURCE_DIR}/src/main/cpp) # 设置dlib include(${NATIVE_DIR}/dlib/cmake) # 设置opencv include文件夹 include_directories(${NATIVE_DIR}/opencv/jni/include) # 设置opencv的so库 add_library( libopencv_java3 SHARED IMPORTED) set_target_properties( libopencv_java3 PROPERTIES IMPORTED_LOCATION ${NATIVE_DIR}/opencv/libs/${ANDROID_ABI}/libopencv_java3.so) # 将jni_common目录中所有文件名，存至SRC_LIST中 AUX_SOURCE_DIRECTORY(${NATIVE_DIR}/jni_common SRC_LIST) add_library( # Sets the name of the library. native-lib # Sets the library as a shared library. SHARED # Provides a relative path to your source file(s). ${SRC_LIST} src/main/cpp/face_detector.h src/main/cpp/face_detector.cpp src/main/cpp/native-lib.cpp) find_library( # Sets the name of the path variable. log-lib # Specifies the name of the NDK library that # you want CMake to locate. log) target_link_libraries( # Specifies the target library. native-lib dlib libopencv_java3 jnigraphics # Links the target library to the log library # included in the NDK. ${log-lib}) # 指定release编译选项 set(CMAKE_C_FLAGS_RELEASE "${CMAKE_C_FLAGS_RELEASE} -s -O3 -Wall") set(CMAKE_CXX_FLAGS_RELEASE "${CMAKE_CXX_FLAGS_RELEASE} -s -O3 -Wall")由于 C++ 代码中用到了头文件 "android/bitmap.h"，所以链接时需要添加 jnigraphics 库。
3 JNI相关 Java 类定义 3.1 VisionDetRet 类VisionDetRet 类的相关对象主要负责 C++ 与 Java 之间的数据传递。
public final class VisionDetRet { private int mLeft; private int mTop; private int mRight; private int mBottom; VisionDetRet() {} public VisionDetRet(int l, int t, int r, int b) { mLeft = l; mTop = t; mRight = r; mBottom = b; } public int getLeft() { return mLeft; } public int getTop() { return mTop; } public int getRight() { return mRight; } public int getBottom() { return mBottom; } } 3.2 FaceDet 类FaceDet 类为 JNI 函数调用类，主要定义了一些需要 C++ 实现的 native 方法。
public class FaceDet { private static final String TAG = "FaceDet"; // accessed by native methods @SuppressWarnings("unused") private long mNativeFaceDetContext; static { try { // 预加载native方法库 System.loadLibrary("native-lib"); jniNativeClassInit(); Log.d(TAG, "jniNativeClassInit success"); } catch (UnsatisfiedLinkError e) { Log.e(TAG, "library not found"); } } public FaceDet() { jniInit(); } @Nullable @WorkerThread public List<VisionDetRet> detect(@NonNull Bitmap bitmap) { VisionDetRet[] detRets = jniBitmapDet(bitmap); return Arrays.asList(detRets); } @Override protected void finalize() throws Throwable { super.finalize(); release(); } public void release() { jniDeInit(); } @Keep private native static void jniNativeClassInit(); @Keep private synchronized native int jniInit(); @Keep private synchronized native int jniDeInit(); @Keep private synchronized native VisionDetRet[] jniBitmapDet(Bitmap bitmap); } 4 Native 方法实现 4.1 定义 VisionDetRet 类对应的 C++ 类 #include <jni.h> #define CLASSNAME_VISION_DET_RET "com/lightweh/dlib/VisionDetRet" #define CONSTSIG_VISION_DET_RET "()V" #define CLASSNAME_FACE_DET "com/lightweh/dlib/FaceDet" class JNI_VisionDetRet { public: JNI_VisionDetRet(JNIEnv *env) { // 查找VisionDetRet类信息 jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); // 获取VisionDetRet类成员变量 jID_left = env->GetFieldID(detRetClass, "mLeft", "I"); jID_top = env->GetFieldID(detRetClass, "mTop", "I"); jID_right = env->GetFieldID(detRetClass, "mRight", "I"); jID_bottom = env->GetFieldID(detRetClass, "mBottom", "I"); } void setRect(JNIEnv *env, jobject &jDetRet, const int &left, const int &top, const int &right, const int &bottom) { // 设置VisionDetRet类对象jDetRet的成员变量值 env->SetIntField(jDetRet, jID_left, left); env->SetIntField(jDetRet, jID_top, top); env->SetIntField(jDetRet, jID_right, right); env->SetIntField(jDetRet, jID_bottom, bottom); } // 创建VisionDetRet类实例 static jobject createJObject(JNIEnv *env) { jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); jmethodID mid = env->GetMethodID(detRetClass, "<init>", CONSTSIG_VISION_DET_RET); return env->NewObject(detRetClass, mid); } // 创建VisionDetRet类对象数组 static jobjectArray createJObjectArray(JNIEnv *env, const int &size) { jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); return (jobjectArray) env->NewObjectArray(size, detRetClass, NULL); } private: jfieldID jID_left; jfieldID jID_top; jfieldID jID_right; jfieldID jID_bottom; }; 4.2 定义人脸检测类