org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

SQL on Hadoop DWS支持直接读取存储在Hadoop HDFS文件系统上的结构化数据，对外提供标准SQL语言查询接口，通过向量化引擎完成Hadoop原生数据的复杂分析查询工作。 技术架构 DWS将HDFS上存储的结构化数据映射为外部表，从而重用已有的成熟数据库SQL编

查看更多 →

生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

快速购买Hadoop分析集群 本章节为您介绍如何快速购买一个Hadoop分析集群，Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互

查看更多 →

性能测试 测试方法 测试结果 父主题： 并行查询（PQ）

查看更多 →

性能测试 使用sysbench模型测试。 准备1000w数据。 sysbench /usr/share/sysbench/oltp_read_only.lua --tables=1 --report-interval=10 --table-size=10000000 --mysql-user=root

查看更多 →

性能测试 如下SQL语句为Q1，访问主表且无谓词条件。 mysql> EXPLAIN SELECT * FROM lineitem LIMIT 10000000,10; +----+-------------+----------+------------+------+----

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。

查看更多 →

性能测试方法 测试目的 广告RTA业务对广告主的技术要求较高，对于广告主来说，一方面需要满足媒体侧的快速响应要求，另一方面还要求数据存储成本可控。近年来，越来越多的RTA业务使用云数据库GeminiDB Redis做为KV特征库，性能与成本双赢。 本章节基于真实RTA业务做压力测试，评估GeminiDB

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

性能测试方法 本章介绍GeminiDB Redis性能测试的方法，具体包括测试环境，测试工具，测试指标，测试模型，以及测试步骤。 测试环境 区域：华北-北京四 可用区：可用区1 弹性云服务器 （Elastic Cloud Server，简称E CS ）：规格选择c6.4xlarge.2

查看更多 →

性能测试结果 基于上述样本，预先注入1TB+数据并进行压力测试，测试结果如下： 数据压缩率： 写入1.1TB数据(约38亿条)，压缩后数据占用约为155GB，数据压缩比约为13.8%； 性能表现： 维持业务总QPS达到约160w，此时读请求总流量约为1.5Gb/s，实例CPU利用率在60%-70%。

查看更多 →

性能测试方法 本章基于GeminiDB Influx实例，进行性能测试，具体包括测试环境，测试步骤，以及测试结果。 测试环境 区域：华北-北京四 可用区：可用区一 弹性 云服务器 （Elastic Cloud Server，简称ECS）：规格选择内存优化型m6.2xlarge.8，8

查看更多 →

JAVA_HOME=/opt/jdk-17.0.8" >> /opt/hadoop-2.10.x/etc/hadoop/hadoop-env.sh 验证安装。 hadoop version 回显信息如下所示表示Hadoop安装成功。 Hadoop 2.10.x Subversion https://github

查看更多 →

性能测试方法 本章基于GeminiDB Mongo副本集4.0版本，进行性能测试，具体包括测试环境，测试步骤，以及测试结果。 测试环境 区域：华北-北京四 可用区：可用区一 弹性云 服务器 （Elastic Cloud Server，简称ECS）：规格选择通用计算型s3.2xlarge

查看更多 →

性能测试结果 本章介绍GeminiDB Redis性能测试结果，根据上述测试方法操作，展示在各种数据模型、测试场景、Workload模型组合下的性能指标。当前性能白皮书仅呈现中小规格并发能力下的数据库性能数据，如需更高的并发能力，可水平或垂直升级数据库规格。 总数据量小于内存场景下的测试数据请参见表1。

查看更多 →

性能测试方法 本章基于GeminiDB Cassandra，进行性能测试，具体包括测试环境，测试步骤，以及测试结果。 测试环境 区域：华北-北京四 可用区：可用区1+可用区2+可用区3（跨3个可用区部署） 弹性云服务器（Elastic Cloud Server，简称ECS）：规格选择h3

查看更多 →

建并授权使用性能测试服务。 登录性能测试控制台 登录华为云控制台。 单击，选择区域。 单击左上角，在服务列表单击“性能测试 CodeArts PerfTest”。 如果是首次登录，在弹出的服务授权页面单击“同意授权”，授权性能测试服务使用依赖的服务，然后进入“性能测试”控制台。

查看更多 →

性能测试数据 不同业务模型和实例规格下，针对弱一致性，预置1000万行数据量，测试的OPS*数据（表格中黑色字体），详见表1中加粗内容。 表1 测试数据 实例规格 4U16GB 8U32GB 16U64GB 32U128GB 业务模型编号 s1 35263 69490 75332

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →