更新时间:2023-09-27 GMT+08:00
分享

AI智能体验馆

描述

ISDP+的 AI server实现了煤炭、电力行业的AI智能服务,通过AI智能体验馆,可以直接体验ISDP+的相关AI服务。

AI智能体验馆集成到ISDP+ Mobile,在ISDP+ Mobile的我的应用中AI体验馆入口,进入到AI体验馆。

开放能力

AI智能体验馆如图1所示,提供的智能对象请参见AI智能体验馆。

图1 AI智能体验馆

如何使用资产

  1. 订购并安装部署AI智能体验馆应用到对应的AppCube生产环境。

    相关操作请参见如何订购&部署资产

  2. 配置集成应用到ISDP+ Mobile。

    相关操作请参见集成移动端应用到ISDP+ Mobile系统

    配置中涉及到相关参数说明:

    • AI智能体验馆应用系统参数:

      参数名称

      描述

      需要修改的参数

      ISDP__AIMaker_client_id

      《AI体验馆》ISDP应用ID

      对应ISDP+环境中创建用来订阅OpenAPI的应用ID和令牌。

      ISDP__AIMaker_client_secret

      《AI体验馆》ISDP令牌

      ISDP__AIMaker_domain

      《AI体验馆》ISDP域名

      对应ISDP+的环境域名。

      ISDP__similarity

      《AI体验馆》AI识别置信度

      AI识别置信度。

      如果不配置,默认值为0.6。

      ISDP__industryList

      《AI体验馆》行业类型

      AI智能体验的“图像识别”页签下展示的行业类型以及筛选场景。

      #前表示行业类型,#后表示筛选场景,行业类型之间使用英文;隔开。

      默认值:通用#人员行为检测|工器具识别|健康环境安全EHS;煤矿#综采面|掘进面|主运输|机电|人员行为|地质|灾害检测|巡检|其他;电力#配网|营销|换流站;

      说明:

      当前AI标签类型分为通用、煤矿和电力,请不要删除或修改三种行业类型的名称,修改后,会导致该行业类型下的AI标签不展示。

      ISDP__AIMaker_appcube_domain

      《AI体验馆》appcube接口域名

      配置为对应AppCube环境的域名。

      ISDP__AIMaker_appcube_clientId

      《AI体验馆》appcube应用ID

      AppCube的“管理 > 系统管理 > OAuth”中记录的client_id和client_secret值。

      ISDP__AIMaker_appcube_client_secret

      《AI体验馆》appcube令牌

      ISDP__commonOCR_Domain

      《AI体验馆》通用OCR识别接口域名

      配置为OCR识别接口的域名和后缀。

      当前提供的OCR识别接口域名和后缀如下,如果后续有变动,请进行修改。

      • 域名:https://studio.e.huawei.com
      • 后缀:/ai-enable/v1.0/services/invoke

      ISDP__commonOCR_invoke

      《AI体验馆》通用OCR识别接口后缀

      ISDP__commonOCR_clientId

      通用OCR识别令牌

      配置为OCR识别的令牌和密钥。

      ISDP__commonOCR_clientSecret

      通用OCR识别密钥

      ISDP__photoInterval_AI

      《AI体验馆》视频检测拍照间隔时间

      视频检测拍照间隔时间。

      如果不配置,默认值为1s。

      不需要修改的参数

      ISDP__rest_token_AI

      《AI体验馆》ISDP获取token接口后缀后缀

      /oauth2/oauth/rest_token

      ISDP__uploadFileForAIMaker

      《AI体验馆》上传文件API

      /openapi/openFile/v1/file/uploadFile

      ISDP__restToken_appcube_AI

      《AI体验馆》appcube获取token接口后缀

      /baas/auth/v1.0/oauth2/token

    • AI智能体验馆应用业务权限凭证:getApiData(图像识别接口)、queryLabels(查询标签)、getSysParam(AI体验馆获取系统参数)
    • AI智能体验馆应用需要订购的API:

      类型

      名称

      别名

      描述

      对象API

      proxyTeslaService

      proxyTesla

      调用tesla服务

      uploadFile

      文件上传

      文件上传

      文件API

      funcPoint.trouble.upload(功能点)

      -

      -

    • 分配单点登录认证凭证固定为:isdp-saas-mobile-appcube
    • 申请配置Apk H5小程序相关信息:

      参数

      配置说明

      示例

      应用编码

      系统分配的唯一标识,不可编辑。

      1299_web_1659509670

      应用名称

      展示在apk应用市场的名称。

      AI体验馆

      应用排序

      展示在apk应用市场的位置顺序

      0

      应用大类

      应用所属的大类,不可编辑,固定为“App-Store”。

      App-Store

      应用分组

      apk应用市场展示的分类

      现场作业

      运行平台

      应用运行的平台,不可编辑,固定为“Android”。

      Android

      应用类型

      应用的类型,不可编辑,固定为“Web”。

      Web

      应用入口

      H5的在线URL入库地址。

      https://AppCube域名/magno/render/ISDP__AI_AppCube租户ID/AI_Maker_homePage

      使用高级页面开发,URL获取请参见申请配置Apk H5小程序中的1高级业务URL获取方法。

      插件启动行为

      插件启动行为,不可编辑,固定为“toBrowser”。

      toBrowser

      应用版本号

      Mobile apk的最低支持版本号

      1

      应用状态

      应用的状态,包括“启用”和“禁用”。

      启用

      应用图标

      展示在apk应用市场的图标,建议上传图标尺寸为144*144,上传图片大小不超过5M。

      回调接口

      回调接口,无需配置。

      -

      回调方式

      回调方式,包括“Post”和“Get”,无需配置。

      -

      回调接口参数

      回调接口参数,无需配置。

      -

      应用描述

      应用的描述信息。

      -

  3. 登录移动端ISDP+ App。
  4. 在下方单击“业务”,进入“业务”页面,如图2所示。

    图2 业务页面

  5. 单击“我的应用”对应的,进入“我的应用”页面,如图3所示。

    图3 我的应用

  6. 图4所示,在“现场作业”区域,单击“AI体验馆”,进入到AI体验馆,如图5所示。

    图4 进入AI体验馆
    图5 AI体验馆

  7. 图6所示,单击要体验的智能对象,如:人员倒地。

    图6 进入人员倒地

  8. 图7所示,在“人员倒地”页面,单击“上传图片”或“视频检测”,进行人员倒地识别。

    图7 人员倒地

    【上传图片】

    1. 单击“上传图片”。
    2. 图8所示,在弹出的提示中,选择相机拍照,或从文件中获取上传图片。

      AI体验馆要使用拍照识别功能,需要手动给ISDP+授权相机功能。

      图8 上传图片方式
    3. 图片上传后,自动识别图片中人员倒地情况,如图9所示,识别成功后返回识别结果,如图10所示。
      图9 图片识别
      图10 人员倒地识别
    【视频检测】
    1. 单击“视频检测”,进入手机摄像模式。
    2. 图11所示,单击,开始扫描。

      单击,可以进行前置后置摄像头的切换。

      图11 开始扫描
    3. 检测目标物体,识别成功后,定格为图片,标注画框和置信度,如图12所示。
      图12 检测目标物体
    4. 单击“继续”,返回识别结果,如图13所示。

      单击“重新扫描”,重新进行扫描。

      图13 人员倒地识别

    在识别到隐患后,可以单击“创建隐患”,跳转到移动端的“添加隐患”页面,添加隐患任务,并指定给相关责任人进行整改。

    跳转到添加隐患页面时,携带如下信息:

    • 隐患描述:【industry】【businessScene】【label】模型,识别不通过,例如,【通用】【人员行为检测】【人员倒地】模型,识别不通过。
    • 隐患附件:识别图片作为隐患附件。
    • 标准隐患、辨识对象、隐患类别、隐患专业、隐患等级:根据标签匹配标准隐患描述,将标准隐患隐患条目信息自动填充,如果有多条取第一条。

相关文档