使用手机实时视频流编写/调试代码

更新时间：2024-04-03 GMT+08:00

编辑

查看PDF

新建技能开发项目，或打开已有的技能项目后，您就可以在HiLens Studio中通过编辑和调试技能逻辑代码，开发自己的技能。

当前技能项目已提供技能模板，可根据技能模板开发自己的技能代码，详情请见编辑逻辑代码。

编辑完技能逻辑代码后，HiLens Studio提供使用手机实时视频流调试代码的功能，以手机摄像头实时的视频流作为技能输入，查看技能输出，详情请见使用手机实时视频流调试代码。

另外，您也可以使用预置视频流调试代码，详情请见使用预置视频流调试代码。

前提条件

在HiLens Studio中打开技能开发项目：

项目文件说明

在HiLens Studio界面单击左上角点击放大，左侧将展示开发项目的文件目录。打开项目源代码文件“src”，详细代码内容将呈现在HiLens Studio界面的编辑区，您可以直接编辑项目逻辑代码。

文件目录的详细说明如下所示：

开发项目名/
|── .hilens    
    ├── rtmp_source    生成的uuid，用于构成技能rtmp手机推流临时地址。
    ├── rtmp.txt    生成的uuid，用于构成技能rtmp推流临时地址。
    ├── skill_info.json    项目的元信息。
|── .theia 
    ├── launch.json    项目启动配置。
    ├── tasks.json     任务配置。
    ├── setting.json   C/C++ 配置。目前配置了cpp编译路径，是c++代码跳转非常重要的部分。
|── build 
    ├── CMakeLists.txt    文件。
    ├── kit_package_install.sh    技能部署至HiLens Kit打包脚本，此脚本可支持自定义，定制化部署技能至HiLens Kit。
    ├── build.sh    项目编译脚本。
    ├── clean.sh    项目清理脚本。
    ├── prebuild.sh    项目启动预处理脚本。
    ├── postbuild.sh   项目运行结束后处理脚本。
    ├── output    编译产物。
        ├── kit    HiLens Kit编译产物。
        ├── studio    HiLens Studio编译产物。
├── lib    c++项目第三方库。
├── data   工程需要使用的数据。
├── model    模型文件。
├── src    项目源代码。
├── test    测试数据。
    ├──  cameras0.mp4   HiLens Studio中Video Capture 默认读取的视频文件。

项目文件操作

右键单击项目文件，可针对自身业务对当前的文件进行一系列操作，详细的操作说明如表1所示。

表1 项目文件操作说明
操作	说明
New File	新建文件。
New Folder	新建文件夹。
Open	打开当前文件。
Find in Folder	在当前文件搜索/替换关键词。
Copy Download Link	复制下载当前文件的链接。
Upload Files	上传本地文件至当前文件夹下。
Ultra Download	下载当前文件/文件夹至本地。也可以备份技能项目，详情请见备份技能项目。说明：由于服务性能原因，从HiLens Studio下载文件大小限制在100M以内。如果需要下载大文件，请使用OBS备份项目，然后在OBS下载超过限制大小的项目文件。
Delete	删除当前文件/文件夹。
Duplicate	复制当前文件/文件夹。
Rename	重命名当前文件/文件夹。

备份技能项目

登录华为HiLens管理控制台，在左侧导航栏中选择“技能开发>HiLens Studio”。
进入HiLens Studio页面。
在HiLens Studio界面单击左上角“File”，在下拉框中选择“Backup Project(s) to OBS”。
图1 备份技能至OBS
在对话框中选中“Back up all projects to OBS”，单击“OK”。
耐心等待项目备份到OBS，待项目备份完成后，右下角会提示“Tasks are finished......”。

如果项目备份失败，可以选择把项目下载至本地，右键单击鼠标选择“Download”，将项目下载至本地。

图2 Back up all projects to OBS

编辑逻辑代码

打开项目源代码文件“src”，在HiLens Studio 界面的编辑区可直接编辑技能的逻辑代码。

图3 编辑区

华为HiLens提供了一套HiLens Framework，HiLens Framework通过封装底层接口、实现常用的管理功能，让开发者可以方便的开发Skill，发展AI生态。详细指导和API介绍可参见《开发指南》。

使用手机实时视频流调试代码

HiLens Studio的调试器允许使用断点、单步调试等，与编辑器配合使用。在调试代码的过程中，可以使用手机登录HiLens Studio，以手机摄像头实时的视频流作为技能输入，查看技能输出。

步骤一：绑定手机与HiLens Studio账号

在HiLens Studio界面右上角单击用户名，选择“接入手机摄像头（Beta）”。
弹出“接入手机摄像头（Beta）”对话框。

图4 手机登录HiLens Studio
按照“接入手机摄像头（Beta）”对话框的指引，打开手机微信，扫描对话框中的二维码。
手机微信进入“EI体验空间”小程序。

图5 扫描小程序二维码
在手机微信小程序中，选择“HiLens Studio”。
进入HiLens Studio手机小程序界面。

图6 HiLens Studio小程序
单击HiLens Studio界面“接入手机摄像头（Beta）”对话框的“下一步”。
对话框显示摄像头推流二维码。

图7 摄像头推流二维码

在HiLens Studio手机小程序界面勾选“用户协议”，然后单击“扫一扫”，用手机扫描步骤4中的二维码。

进入手机调试界面，功能介绍如表2所示。此时手机与HiLens Studio账号绑定，可以使用手机摄像头在线调试技能。

图8 手机调试界面

表2 手机调试功能说明
序号	说明
1	当前手机摄像头调试的技能名称以及实时输入的视频流。单击技能名称，可切换技能，在手机弹出的新界面选择新的技能，然后单击“确定”，即可切换技能。
2	当前调试的技能输出视频流。
3	操作列，可进行如下操作：前置摄像头:切换手机摄像头为前置摄像头。后置摄像头：切换手机摄像头为后置摄像头。暂停：暂停当前技能的调试或运行。返回：退出当前手机调试技能界面，返回至HiLens Studio手机小程序界面。

步骤二：调试和运行技能代码
1. 在HiLens Studio编辑区代码左侧单击鼠标，出现断点。
  图9 设置断点
2. 调试代码。
  单击HiLens Studio界面上方导航栏的，选择“Read Stream from Mobile Phone”。
  
  图10 实时推流调试代码
  
  在HiLens Studio界面下方“Debug Console” 查看代码调试信息。
  图11 Debug Console
3. 运行代码
   代码调试完成后，可运行代码，查看技能输出。
  
  单击HiLens Studio界面上方导航栏的运行按钮。
  
  HDMI技能在运行完技能代码后，可在HiLens Studio小程序界面查看技能输出。
  
  图12 手机调试界面-27
  
  同时，也可在HiLens Studio界面右侧单击，在“Video Output”区查看技能输出。
  图13 技能输出

使用预置视频流调试代码

HiLens Studio的调试器允许使用断点、单步调试等，与编辑器配合使用。

在HiLens Studio编辑区代码左侧单击鼠标，出现断点。
图14 设置断点-28
调试代码。
方式一：单击HiLens Studio界面上方导航栏的，选择“Read Stream from File”。

图15 预置视频流调试代码

方式二：单击HiLens Studio界面左侧的，弹出“Debug”区，单击开始调试代码。

图16 调试区

方式三：快捷键“F5”，开始调试代码。

在HiLens Studio界面下方“Debug Console” 查看代码调试信息。

图17 Debug Console-29
运行代码
 代码调试完成后，可运行代码，查看技能输出。

单击HiLens Studio界面上方导航栏的。

HDMI技能在运行完技能代码后，可在HiLens Studio界面右侧单击，在“Video Output”区查看技能输出。

如果视频流获取失败，可在“Video Output”区右上角单击刷新按钮重新获取。

图18 技能输出-30