中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    apache大数据 算法 更多内容
  • 配置Hive列加密功能

    密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种,在建表时指定:

    来自:帮助中心

    查看更多 →

  • 大容量数据库背景介绍

    子问题的解的合并。对于容量数据场景,数据库提供对数据进行“分治处理”的方式即分区,将逻辑数据库或其组成元素划分为不同的独立部分,每一个分区维护逻辑上存在相类似属性的数据,这样就把庞大的数据整体进行了切分,有利于数据的管理、查找和维护。 父主题: 容量数据

    来自:帮助中心

    查看更多 →

  • 获取大屏指定组件数据

    获取屏指定组件数据 功能介绍 获取屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参考获取项目ID。

    来自:帮助中心

    查看更多 →

  • 如何查看算法日志

    如何查看算法日志 登录IEF管理控制台。 选择左侧导航栏的“边缘资源 > 边缘节点”,进入边缘节点列表页面。 单击某个边缘节点的名称,进入边缘节点详情页面。 在“配置”页签下找到“日志配置”,单击“编辑”,在“系统日志”和“应用日志”下开启云端日志开关,并单击“保存”。 输出的日

    来自:帮助中心

    查看更多 →

  • 停止算法部署

    停止算法部署 功能介绍 停止算法部署 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/algorithm/{alg_id}/deploy/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID,获取方法参见获取项目ID和名称

    来自:帮助中心

    查看更多 →

  • 部署算法服务

    部署算法服务 查看算法服务清单 购买算法服务包后,可在“算法中心 > 算法服务”中查看当前可以使用的算法服务清单。 算法服务按场景和来源可分为华为自研云上算法、华为自研边缘算法、非华为自研云上算法和非华为自研边缘算法。其中华为自研云上算法购买后可直接用于视频分析作业,无需手动部署。

    来自:帮助中心

    查看更多 →

  • 算法文件说明

    算法文件说明 用户可将本地算法文件包上传到Octopus平台,算法文件包需要满足一定要求,请详细阅读本节,有助于用户快速完成算法开发。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选)

    来自:帮助中心

    查看更多 →

  • 聚合算法优化

    聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法,即使用快速聚合hashmap作为缓存,以提高聚合性能。hashmap替代了之前的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。 操作步骤 要启动

    来自:帮助中心

    查看更多 →

  • 上传算法至SFS

    termcolor==1.1.0 yacs==0.1.8 准备run.sh文件中所需要的obs文件路径。 准备imagenet数据集的分享链接 勾选要分享的imagenet21k_whole数据集文件夹,单击分享按钮,选择分享链接有效期,自定义提取码,例如123456,单击“复制链接”,记录该链接。

    来自:帮助中心

    查看更多 →

  • personalrank算法(1.0.0)

    personalrank算法(1.0.0) 表1 parameters参数说明 参数 是否必选 类型 说明 source 是 String 节点的ID。 alpha 否 Double 权重系数(又称阻尼系数),取值范围为(0,1),默认值为0.85。 convergence 否 Double

    来自:帮助中心

    查看更多 →

  • 算法API参数参考

    topicrank算法(topicrank) louvain算法(louvain) Bigclam算法(bigclam) Cesna算法(cesna) infomap算法(infomap) 标签传播算法(label_propagation) 子图匹配算法(subgraph matching)

    来自:帮助中心

    查看更多 →

  • 执行算法(1.0.0)

    String 项目ID。获取方法请参见获取项目ID。 graph_name 是 String 图名称。 请求示例 执行指定算法算法名字为pagerank,算法的权重系数为0.85,收敛精度为0.00001,最大迭代次数为1000,考虑边的方向。 POST http://{SERVER_URL}/ges/v1

    来自:帮助中心

    查看更多 →

  • 执行DSL算法

    执行DSL算法 功能介绍 提供灵活,可控的DSL帮助用户低成本设计并运行算法。DSL算法详细介绍请参考DSL语法介绍。 URI URI 格式 POST /ges/v1.0/{project_id}/graphs/{graph_name}/action?action_id=algorithm-query

    来自:帮助中心

    查看更多 →

  • 开发算法模型

    ModelArts自动学习功能训练生成的模型,暂时不支持用于HiLens平台。 线下开发 线下开发指您在本地使用自己熟悉的算法模型开发工具,开发算法模型。 当前仅支持TensorFlow和Caffe引擎开发的算法模型,且您开发的模型需保存为“.pb”或“.caffemodel”格式。然后再使用导入(转换)模

    来自:帮助中心

    查看更多 →

  • 如何查看算法日志

    输出的日志可以在AOM中查看,具体操作请参见在AOM查看日志。 系统日志:边缘节点上IEF软件运行产生的日志。 应用日志:边缘节点上部署的应用产生的日志,例如:算法作业运行产生的日志。 图1 打开系统日志开关 图2 打开应用日志开关

    来自:帮助中心

    查看更多 →

  • 发布算法工程服务

    发布算法工程服务 如果当前算法工程操作流处理效果比较好,可以得到比较优质的训练数据,可以将当前的算法工程发布成服务。支持复用此服务对其他数据进行相同的特征操作。 在JupyterLab环境编辑界面,单击界面右上角的图标。 在弹出的“Publish”框内,设置服务名称“Service

    来自:帮助中心

    查看更多 →

  • 准备SDC算法

    编号升级规则 当版本发生了重大的特性或者架构变更时,版本号需要升级。 为快速响应客户需求,分步骤实现版本号规划的特性集,每个小版本号实现一个特性子集。 每一次发布Update版本,发布序列号增加1。 举例 1 0 0 32/64算法标识符:64位填写为1,32位填写为2。 举例:如fws_helmet_D-V1

    来自:帮助中心

    查看更多 →

  • SDC算法管理

    登录行业视频管理服务后台。 选择“算法 > 算法管理 > SDC算法管理”,勾选需要配置的摄像机。 单击“启用”,打开启用算法弹窗,如图4所示。 图4 启用算法 勾选需要启用的算法,单击“启用”。 停用算法 登录行业视频管理服务后台。 选择“算法 > 算法管理 > SDC算法管理”,勾选需要配置的摄像机。

    来自:帮助中心

    查看更多 →

  • 聚合算法优化

    聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法,即使用快速聚合hashmap作为缓存,以提高聚合性能。hashmap替代了之前的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。 操作步骤 要启动

    来自:帮助中心

    查看更多 →

  • k跳算法(k

    k跳算法(k_hop)(1.0.0) 表1 parameters参数说明 参数 是否必选 类型 说明 k 是 Integer 跳数,取值范围[1,100]。 num_thread 否 Integer 并发线程数。范围为[1,40],小于1会自动置为1,大于40则自动置为40。默认值为4。

    来自:帮助中心

    查看更多 →

  • Louvain算法(1.0.0)

    Louvain算法(1.0.0) 表1 parameters参数说明 参数 是否必选 说明 类型 取值范围 默认值 convergence 否 收敛精度。 Double 0~1,不包括0和1。 0.00001 max_iterations 否 最大迭代次数。 Integer 1~2000。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了