org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM 支持的Hadoop类型连接主要包括以下几类： MRS 集群：MRS HDFS，MRS

查看更多 →

生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS

查看更多 →

查询设备历史数据 典型场景 在日常运行中，物联网平台会收到并保存设备上报业务数据（历史数据默认保留7天），第三方应用若需要查看某个设备上报到平台的历史数据，可调用此接口查询获取。 接口功能 支持第三方应用根据设备ID，查询指定设备上报到物联网平台的历史数据。 接口描述 1 Que

查看更多 →

查询设备历史数据 典型场景 在日常运行中，物联网平台会收到并保存设备上报业务数据（默认保留时间为7天），第三方应用若需要查看某个设备上报到平台的历史数据，可调用此接口查询获取。 接口功能 支持第三方应用根据设备ID，查询指定设备上报到物联网平台的历史数据。 接口描述 1 def

查看更多 →

Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapReduce，Spark和其他Hadoop生态系统组件集成。

查看更多 →

Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成

查看更多 →

在日常运行中，物联网平台会收到并保存设备上报业务数据，应用 服务器 若需要查看某个设备上报到平台的历史数据，可调用此接口查询获取。StatusCode: 200 OKDeviceDataHistoryDTO：

查看更多 →

Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapReduce，Spark和其他Hadoop生态系统组件集成。

查看更多 →

应用服务器通过“修改设备影子”接口修改设备影子的配置时，物联网平台会保存修改记录。当应用服务器需要查看设备影子的历史配置记录时，可调用此接口查询获取。StatusCode: 200 OKDeviceDesiredHistoryDTO：

查看更多 →

历史数据查询类接口 获取VDN历史监控指标 查询指定VDN下的未接来电信息 获取IVR历史监控指标 获取技能维度的历史监控指标 获取座席维度的历史监控指标 获取指定日期内的技能维度的历史监控指标 获取指定月份内的技能维度的历史监控指标 获取指定日期内的座席维度的历史监控指标 获取指定月份内的座席维度的历史监控指标

查看更多 →

配置Hudi历史数据清理 本章节仅适用于MRS 3.3.0-LTS及之后版本 操作场景 随着时间的推移，Hudi表中的数据越来越多，表中的老数据价值逐渐变弱并且还会占用存储空间，对这些老数据Hudi需要支持删除操作以便节约存储成本。 delete/drop partition语句直接删除历史数据

查看更多 →

JAVA_HOME=/opt/jdk-17.0.8" >> /opt/hadoop-2.10.x/etc/hadoop/hadoop-env.sh 验证安装。 hadoop version 回显信息如下所示表示Hadoop安装成功。 Hadoop 2.10.x Subversion https://github

查看更多 →

query 查询产生时间在startTime之后的历史数据。时间格式：yyyyMMdd'T'HHmmss'Z'，如 “20151212T121212Z”。 endTime 可选 String query 查询产生时间在endTime之前的历史数据。时间格式：yyyyMMdd'T'HHmmss'Z'，如

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da

查看更多 →

query 查询产生时间在startTime之后的历史数据。时间格式：yyyyMMdd'T'HHmmss'Z'，如 20151212T121212Z。 endTime 可选 String query 查询产生时间在endTime之前的历史数据。时间格式：yyyyMMdd'T'HHmmss'Z'，如

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →

OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表，用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC和PARQUET格式数据到HDFS或者OBS上。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，

查看更多 →