单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选

查看更多 →

MERGE：加载数据时，插入目标表中不存在的数据，更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型，需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型，需要在物理模型设计中先完成设计 目标表 选择目标模型中配置的表 是否删除数据 选择是否删除目标模型中的表数据 源表 选择源模型中配置的表

查看更多 →

Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench 父主题： 产品咨询类

查看更多 →

成的ETL脚本同步到 DataArts Studio 作业指定的目录。 前提： 已在本空间的方案设计中创建ETL Mapping脚本。参考ETL映射设计。 该账号下已开通DataArts Studio服务。 已在该DataArts Studio服务中创建相应的数据连接，以便基于数据连接同步作业以及后续在DataArts

查看更多 →

DN将要访问的HDFS文件的具体路径。 HDFS外表数据文件在DN间的分配原则是： 首先以本地读为主任务分配策略。 其次考虑DN之间的任务负载均衡。 图1 逻辑架构 技术特点 支持标准SQL查询语法 完全继承DWS的SQL查询语法的支持，实现HDFS分布式文件系统上的结构化数据分

查看更多 →

固定目录 存储预加载历史记录文件的路径 否 MR历史任务日志数据丢失 /tmp/hive 固定目录 存放Hive的临时文件 否 导致Hive任务失败 /tmp/hive-scratch 固定目录 Hive运行时生成的临时数据，如会话信息等 否 当前执行的任务会失败 /user/{user}/

查看更多 →

Flume采集到HDFS文件系统中的数据存储目录 否 Flume工作异常 /mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失

查看更多 →

obs.secret.key 无 是 华为云的SK（Secret Access Key），需要具备访问OBS对应桶的权限。 fs.obs.session.token 无 否 华为云的securitytoken，需要具备访问OBS对应桶的权限。当使用临时AK/SK时需要。 fs.obs

查看更多 →

您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication Web最大并发连接数限制 为了保护Web 服务器 的可靠性，当访问的用户连接数达到一定数量之后，对新增用户的连接进

查看更多 →

ordcount作业的操作指导。wordcount是最经典的Hadoop作业，它用来统计海量文本的单词数量。 本指导的基本内容如下所示： 购买集群 软件配置 硬件配置 高级配置 确认配置 准备Hadoop样例程序及数据文件 上传数据至OBS 通过界面提交作业 通过集群后台节点提交作业

查看更多 →

情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS 系

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

工具 SQL诊断 SQL探针 表诊断 父主题： 数据库监控（DMS）

查看更多 →

工具 切平面 父主题： 网格处理

查看更多 →

手工搭建Hadoop环境（Linux） 简介 本文介绍了如何在华为云上使用 弹性云服务器 的Linux实例手工搭建Hadoop环境。Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进

查看更多 →

应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

从零开始使用Hadoop 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导，wordcount是最经典的Hadoop作业，它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子，其中包含wordcount。可以从https://dist

查看更多 →

志分析，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制。 开源社区的Hive特性，请参见https://cwiki

查看更多 →

为任务的组成部分。通过定义任务的触发条件、依赖关系和执行顺序，可以实现复杂的数据处理流程，并确保每个作业在正确的时间和顺序下执行。 此外，作业还可以调用自定义脚本，以实现更高级的调度和编排功能。通过这样的集成，可以进一步提升作业调度的灵活性和可扩展性，满足不同业务场景下的需求。

查看更多 →

S，如下图所示为本实践配置的数据连接，分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。 图5 数据连接清单 添加监控对象，配置想要采集的数据连接的库表信息，以及所需采集的空值字段的表名和表字段名。 图6 配置调研规则入口 为了做源端数据调研，需要对源端系统进行监

查看更多 →

工具准备 需要准备的工具如表1所示。 qemu-img-hw工具和VNC工具仅在第二种方式（即使用物理机virt-manager工具制作镜像）下需要。 表1 工具列表 名称 说明 获取路径 跨平台远程访问工具 制作镜像过程中，用于访问宿主机的工具，如“Xshell”。 建议从官方网站获取。

查看更多 →