数据集成 支持接入的云服务日志 接入日志数据 父主题： 设置

查看更多 →

数据集 选择在“数据中心”中配置的数据集，作为组件数据来源。选择此方式时，请确保数据集已在数据中心创建，详情请参见数据中心。 数据集 参考登录华为云Astro大屏应用界面中操作，登录华为云Astro大屏应用界面。 在编辑页面状态下，选中组件，单击组件上方的。 在数据类型中，选择“数据集”。

查看更多 →

MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) M

查看更多 →

数据集 数据集有哪些密级 数据管理者与数据消费者的区别是什么 未发布的数据资产可以提供给数据消费者使用吗 如何发布数据集 如何订阅数据集 如何下载数据集 数据集下载成功后有哪些使用方式 父主题： 常见问题

查看更多 →

数据集成 体积计算作业过程中，得到的计算结果有以下几种： 表1 体积计算产物类型 名称 文件类型 本地打开方式 云端集成 雷达一点 云地图 .pcd CloudCompare 可集成到客户系统实现可视化 雷达二点云地图 .pcd CloudCompare 可集成到客户系统实现可视化

查看更多 →

数据集成 数据集成普通任务 数据集成组合任务

查看更多 →

数据集 查询数据集和目录列表 获取数据集详情 删除数据集 保存或修改数据集

查看更多 →

数据集 创建数据集 数据集管理 导出任务 OCTOPUS数据集格式说明 父主题： 数据资产

查看更多 →

数据集市 数据集市，也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。 汇总表分为“手

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

Studio支持将 数据湖探索 服务（Data Lake Insight，简称 DLI ）作为 数据湖 底座，进行数据集成、开发、治理与开放。 MapReduce服务 DataArts Studio 支持将MapReduce服务（简称 MRS ）作为数据湖底座，进行数据集成、开发与治理。 云 数据仓库 服务 DataArts Studio

查看更多 →

。 ROMA Connect可以使用Kafka作为数据集成任务的源端和目标端，也可以使用Kafka作为LINK转发规则的目的端，把设备上报的数据转发到Kafka。 MapReduce服务 MapReduce服务（MapReduce Service，简称MRS）是一个在云服务平台上

查看更多 →

方案通过华为云 MapReduce服务 MRS、云数据仓库 GaussDB (DWS)实现大数据集群的管理、提供神策通用数据的接入和加工，同时通过 MapReduce服务MRS的数据应用和机器学习应用补充神策平台的算法和 数据可视化 能力； 通过MapReduce服务MRS平台提供大数据集群的算力

查看更多 →

ELB 弹性负载均衡ELB用户指南 应用与数据集成平台ROMA Connect 应用与数据集成平台ROMA Connect用户指南 Web应用防火墙 WAF Web应用防火墙WAF用户指南 MapReduce服务MRS MapReduce服务MRS用户指南 主机迁移服务 SMS 主机迁移 服务用户指南

查看更多 →