据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，如Local FileSystem、HDFS、数据库等。最常用的是HDFS，利用HDFS的高吞吐性能读取大规模的数据进行计算，同时在计算完成后，也可以将数据存储到HDFS。 MapReduce和YARN的关系

查看更多 →

方案主要由边缘计算+智能AI数据处理+平台数据展示形成面向智慧零售的综合解决方案： 通过边缘设备获取到访客户的基本属性，结合全店二维图获取全店热力图 通过对到访客户群、动线趋势及全店热区的综合分析，为业务运营及商品摆放提供数据依托 部署架构： 图2 部署架构 方案通过华为云Kafka

查看更多 →

体系与跨端、跨业务线行为数据采集，打通客户全触点数据资产。 方案架构 业务架构 图1 业务架构 方案主要由华为云计算底座+智能AI+神策产品产品形成面向金融、零售、互联网、泛企业客户的解决方案： 通过华为云的基础设施服务为整体解决方案提供算力、存储、安全、AI方面的能力。 神策产品从数据采集->分

查看更多 →

pReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云 数据治理中心 DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过 数据治理 中心 DataArts Studio ，用户可以先在线开发调试 MRS

查看更多 →

不同应用对资源需求不同，例如： 功耗密集型业务（如高性能计算、人工智能、深度学习等场景）主要就是消耗计算维度的容量。 内存密集型业务（如大数据处理、图像/视频处理、游戏开发、数据库等场景）主要消耗内存和存储维度的容量。 存储密集型业务（如大型数据库、大数据分析、大规模文件存储、编译构建等场景）可能会比较消耗存储的带宽。

查看更多 →

大屏Demo 描述 大屏Demo，开箱即用的大屏样例，需要配合应用资产中“大屏数据处理应用模板”一起使用。 开放能力 大屏Demo为模板资产，订购后下载到本地，通过导入的方式上传到“业务大屏”下使用。 大屏Demo提供了指挥看板页面，如图1所示。 图1 指挥看板页面 如何使用资产

查看更多 →

工业数据处理基础工具链专题设计 数据湖 治理平台设计 工业数据资产库设计 父主题： 行业知识中心方案设计

查看更多 →

Kuiper边云协同流数据处理集成方案设计 EMQ X Kuiper是由杭州映云科技有限公司开发，用Golang 实现的轻量级物联网边缘分析、流式处理开源软件，可以运行在各类资源受限的终端设备上。Kuiper 设计的主要目标是将在云端运行的实时流式计算框架（比如 Apache Spark，Apache

查看更多 →

更改计算资源 功能介绍 该接口用于更改计算资源。 URI PUT /v1/{project_id}/computing-resource 参数说明请参见表1-URI参数说明。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方法请参见获取项目ID。

查看更多 →

购买计算资源 按需方式购买计算资源。 命令结构 health create compute-resources [flags] 表1 参数说明 参数 简写 是否必选 描述 --code -s 是 计算节点规格。 --data-disk-spec-code -d 否 额外数据盘规格。

查看更多 →

空三计算简介 空中三角测量计算（“AT”），简称：空三，可估算每个输入影像组属性以及姿态。通过影像点与所摄物体之间的对应关系计算出相机成像时刻相机位置姿态及所摄目标的稀疏点云的过程。处理空三后，能快速判断原始数据的质量是否满足项目交付需求以及是否需要增删影像空中三角测量计算可以充分考虑当前相机位置、姿态与控制点。

查看更多 →

购买计算资源 功能介绍 购买计算资源 URI POST /v1/{project_id}/system/computing-resources 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1

查看更多 →

删除计算资源 功能介绍 删除计算资源 URI DELETE /v1/{project_id}/system/computing-resources/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

查询计算资源 功能介绍 查询计算资源 URI GET /v1/{project_id}/system/computing-resources 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1

查看更多 →

重启计算资源 功能介绍 重启计算资源 URI POST /v1/{project_id}/system/computing-resources/{id}/reboot 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

启动计算资源 功能介绍 启动计算资源 URI POST /v1/{project_id}/system/computing-resources/{id}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

关闭计算资源 功能介绍 关闭计算资源 URI POST /v1/{project_id}/system/computing-resources/{id}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

通用计算型 概述 通用计算型专属计算集群提供了基本水平的硬件性能。技术上采用非绑定CPU共享调度模式，vCPU会根据系统负载被随机分配到空闲的CPU超线程上。在主机负载较轻时，可以提供较高的计算能力，但是在主机负载较重时，可能由于不同实例vCPU争抢物理CPU资源而导致计算性能波

查看更多 →

管理计算资源 计算资源 DLI 服务，添加的计算资源需根据实情情况进行合理分配。开通DLI集群大小就是根据业务需求对集群进行扩容缩容，计算资源最多设置5个。计算资源支持的操作包括： 创建计算资源 编辑计算资源 删除计算资源 创建计算资源 登录RES管理控制台，在“全局配置”页面的计算资源区域，单击“创建”添加计算资源。

查看更多 →

计算节点缩容 随着业务数据的减少，为了降低成本，您可对实例节点进行缩容。 使用须知 计算节点缩容期间，服务不中断，不影响业务的正常运行。 请在业务低峰时间段进行节点缩容操作，对于“按需计费”类型的实例在请求提交后立即执行。 请确保实例关联的数据节点状态正常并且没有进行其他操作。 一个DDM实例最少保留1个节点。

查看更多 →

来数百TB的数据，即使在超级计算机也要花费数月的时间来处理。总体上这类场景总是受到时间，计算硬件和软件的限制。 竞享实例的应用 根据Rock Flow Dynamics统计，一项石油勘探工作采用本地计算集群进行分析，需要2-8年时间来完成。如果采用云化+竞享实例方式，该时间可以缩

查看更多 →