本文导读

展开导读

文档首页/ 华为HiLens/ 用户指南（基础版控制台）/ 开发环境HiLens Studio/ 适配新版本HiLens Studio/ 模型适配HiLens Studio

模型适配HiLens Studio

更新时间：2022-08-18 GMT+08:00

编辑

由于HiLens Studio开发工具包升级至新版本C7X，使得目前HiLens Studio仅支持C7X版本的模型，即输出的模型是NHWC格式。而HiLens Kit设备支持C3X版本模型，即输出的模型是NCHW格式。如果您使用旧版本的开发工具包在HiLens Studio上开发技能，该技能将不能在最新版本的HiLens Studio上正常运行，同时新版本Studio将OpenCV的版本从3.4.2升级到4.2.0，因此需要对技能进行适配。适配工作如表1所示。

表1 适配工作
开发语言	适配工作
C++	修改技能文件修改模型配置文件加载模型模型后处理 OpenCV版本升级
Python	加载模型模型后处理

准备工作

由于新版本使用模型配置文件兼容不同版本的模型，端侧固件版本需要升级至1.3.0，固件升级请参见升级HiLens_Device_Agent固件版本。

如果端侧固件版本低于1.3.0，可能会导致技能无法运行。

修改技能文件

需要对“CMakeLists.txt”、“prebuild.sh”、“build.sh”、“clean.sh”文件进行修改。

CMakeLists.txt

修改内容如下：

project(main)
 
# 使用C++11标准
set(CMAKE_CXX_STANDARD 11)
 
# 头文件
include_directories(${CMAKE_SOURCE_DIR}/../src/main/cpp/include)
include_directories(/home/hilens/hilens_studio_sdk/include)
 
# framework lib库
link_directories(/home/hilens/hilens_studio_sdk/lib)
 
# 源文件
file(GLOB_RECURSE SRC_LIST "${CMAKE_SOURCE_DIR}/../src/main/cpp/*.cpp")
set(lib_srcs ${SRC_LIST})
 
# 调试设置
if(STUDIO)
    # DEBUG版本
    message("debug 设置")
    SET(CMAKE_CXX_FLAGS_DEBUG "$ENV{CXXFLAGS} -O0 -Wall -g -ggdb")
else()
    # release版本设置
    message("release 设置")
    SET(CMAKE_CXX_FLAGS_RELEASE "$ENV{CXXFLAGS} -O3 -Wall")
endif()
 
set(LIBS hilens_m opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs
opencv_calib3d opencv_videoio opencv_features2d opencv_flann opencv_photo opencv_video jsoncpp_noabi)# libm-2.24.so)
 
set(CMAKE_EXPORT_COMPILE_COMMANDS ON)
 
# 可执行程序（不携带so）
if(STUDIO)
    set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${CMAKE_SOURCE_DIR}/../)
else()
    set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${CMAKE_SOURCE_DIR}/output/kit/bin)
endif()
 
add_executable(main ${lib_srcs} ${CMAKE_SOURCE_DIR}/../src/main/cpp/main.cpp)
 
target_link_libraries(main ${LIBS})

prebuild.sh

修改如下内容：

current_workspace=`pwd`
echo "cmake..."
 
bash build/build.sh
 
cd $current_workspace
 
filename=.hilens
if [ ! -d $filename  ];then
  mkdir $filename
fi
 
uuid=`cat /proc/sys/kernel/random/uuid`
echo -n $uuid > ./$filename/rtmp.txt
vid_src=`cat ./.hilens/rtmp_source`
 
current_workspace=`pwd`
 
echo "cd $current_workspace" > ~/.gdbinit
echo "set environment RTMP_PATH rtmp://127.0.0.1/live/$uuid" >> ~/.gdbinit
echo "set environment VID_SRC $vid_src" >> ~/.gdbinit
echo "handle SIG32 nostop noprint pass" >> ~/.gdbinit

build.sh

修改如下内容：

#!/bin/sh
 
echo "cmake..."
cd build
# 清理build
 
if [ ! -d output ]; then
    mkdir output
fi
cd output
 
if [ ! -d studio ]; then
    mkdir studio
fi
cd studio
 
echo "studio build..."
export LD_LIBRARY_PATH=/usr/lib64/:$LD_LIBRARY_PATH
cmake ../../ -DCMAKE_BUILD_TYPE=Debug -DSTUDIO=ON && make -j
cp compile_commands.json ../../../
 
echo "kit cmake... "
cd ..
if [ ! -d kit ]; then
    mkdir kit
fi
cd kit
cmake ../../ -DCMAKE_BUILD_TYPE=Release -DSTUDIO=OFF && make -j

clean.sh

修改如下内容：

cd build/output
export LD_LIBRARY_PATH=/usr/lib64/:$LD_LIBRARY_PATH

# 清理kit
BUILD_DIR="kit"
if [ -d ${BUILD_DIR} ];then
    echo " clean and remove build..."
    cd $BUILD_DIR
    make clean
    cd ..
    rm -rf ${BUILD_DIR}
fi
 
# 清理studio
BUILD_DIR="studio"
if [ -d ${BUILD_DIR} ];then
    echo "clean and remove build..."
    cd $BUILD_DIR
    make clean
    cd ..
    rm -rf ${BUILD_DIR}
fi

修改模型配置文件

模型配置文件是一个json文件，模型在加载的时候将会根据这个文件自动加载合适的模型并进行输入的预处理。建议将模型配置文件放在“model”文件夹中。模型路径为相对于当前模型配置文件的相对路径。

模型配置文件修改示例如下。配置参数设置请见模型配置文件。

{
    "ModelCfgs" : 
    [
        {
            "DeviceType" : "D310_C3X",
            "ModelPath": "./mask_det_c3x.om",
            "FrameWorkInput": "BGR",
            "ModelInput": "BGR",
            "NetworkWidth": 512,
            "NetworkHeight": 288,
            "NetworkChannel": 2,
            "ScaleMeanEnable": false
        },
        {
            "DeviceType" : "D310_C7X",
            "ModelPath": "./mask_det_c7x.om",
            "FrameWorkInput": "BGR",
            "ModelInput": "BGR",
            "NetworkWidth": 512,
            "NetworkHeight": 288,
            "NetworkChannel": 2,
            "ScaleMeanEnable": false
        }
    ]
}

加载模型

如果开发语言使用C++，修改如下内容：

model = Model::Create(modelConfigPath);// 创建模型时传入模型配置文件的路径

如果开发语言使用Python，修改如下内容：

model = hilens.Model(model_config_path)  # 创建模型时传入模型配置文件的路径

模型后处理

如果原始模型是TensorFlow，由于C7X新版本模型转换工具将TensorFlow和Caffe的模型输出统一成NHWC格式，而C3X模型转换工具将TensorFlow模型转换成“om”时，输出的是NCHW格式，因此需要对HiLens Studio和HiLens Kit模型后处理进行不同的处理，将代码建立两个分支。

C++

使用# if STUDIO 和 # else 进行区分。

#if STUDIO  // C7X版本
// 模型输出是NHWC格式，针对该格式进行后处理。
#else  // C3X版本
// 模型输出是NCHW格式，针对该格式进行后处理。
#endif

Python

使用如下代码进行区分：

import os
if os.getenv("SKILL_NAME"):
# Studio版本，即C7X
# 模型输出是NHWC格式，针对该格式进行后处理。
else:
# Kit 版本，即C3X版本
# 模型输出是NCHW格式，针对该格式进行后处理。

OpenCV版本升级

C7X版本Studio中OpenCV由原来的3.4.2版本更新至4.2.0，有些OpenCV中定义的常量需要进行修改。具体修改情况请参考OpenCV4.2.0官网。

父主题： 适配新版本HiLens Studio

上一篇：适配新版本HiLens Studio

下一篇：模型配置文件

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问

模型适配HiLens Studio

准备工作

修改技能文件

修改模型配置文件

加载模型

模型后处理

OpenCV版本升级

相关文档

意见反馈

文档内容是否对您有帮助？

7*24

备案

专业服务

退订

建议反馈

售前咨询热线

文档反馈