Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/ FTP服务器 导入数据到HDFS/OBS

查看更多 →

MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的 服务器 ，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J

查看更多 →

获取开源漏洞分析报告 功能介绍 根据任务ID获取开源漏洞分析的报告 URI GET /v1/{project_id}/sbc/task/report/opensource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id

查看更多 →

使用 CDM 服务迁移Hadoop数据至 MRS 集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能

查看更多 →

从MRS导入数据概述 MapReduce服务 （MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海

查看更多 →

开源镜像站论坛使用 介绍使用华为开源镜像站论坛的操作步骤。 进入开源镜像站首页。 单击“前往论坛”，进入华为云社区论坛-开源镜像站版块。 可以浏览镜像站最新的发布公告、常用工具的新手指导等。也可以发帖提需求建议、反馈问题等，将会有相关技术专家进行答复。 华为论坛不支持匿名发帖，如

查看更多 →

使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client

查看更多 →

使用开源Kafka触发器 本节介绍创建开源Kafka（OPENSOURCEKAFKA）触发器，供用户了解开源Kafka触发器的使用方法。 使用开源Kafka触发器后，FunctionGraph会定期轮询开源Kafka指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。

查看更多 →

HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析 出现这个报错可能的场景有： 开源HDFS客户端访问MRS集群的HDFS时报错。

查看更多 →

开源confluent-kafka-go连接MRS安全集群 用户问题 开源confluent-kafka-go如何连接MRS的安全集群？ 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librd

查看更多 →

HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的 数据仓库 ，提供类似SQL的Hive Query

查看更多 →

MRS数据源使用概述 MRS集群简介 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。有关MRS服务的详细信息，请参考《MapReduce服务用户指南》。

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

RocketMQ实例兼容开源RocketMQ哪个版本？ RocketMQ实例兼容开源RocketMQ 4.8.0和5.x，客户端推荐使用4.9.5及更新的版本。 父主题： 实例问题

查看更多 →

开源组件Fastjson拒绝服务漏洞 2019年09月03日，华为 云安全 团队检测到应用较广的开源组件Fastjson的多个版本出现拒绝服务漏洞。攻击者利用该漏洞，可构造恶意请求发给使用了Fastjson的服务器，使其内存和CPU耗尽，最终崩溃，造成用户业务瘫痪。目前，华为云 Web应用防火墙 （Web

查看更多 →

配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发

查看更多 →

语言类开发开源组件镜像 以Maven镜像为例，介绍语言类开发开源组件镜像加速下载操作步骤。 进入开源镜像站首页。 选择“语言类”，筛选镜像；或者直接搜索目标镜像。 单击卡片右下角的“查看镜像源”，可查看该镜像代理或同步的镜像源。 Maven2 https://repo1.maven

查看更多 →

MQS连接开发（开源客户端） Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录：如何提高消息处理效率 附录：spring-kafka对接限制 父主题： 消息集成开发指导

查看更多 →

sqoop-env.sh 添加配置： export HADOOP_COMMON_HOME=/opt/client/HDFS/hadoop export HADOOP_MAPRED_HOME=/opt/client/HDFS/hadoop export HIVE_HOME=/opt/Bigdata/MRS_1

查看更多 →

环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFi

查看更多 →