安装Spark 前提条件 您需要准备一台可访问公网的Linux机器，节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例，安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1

查看更多 →

自定义策略 单击“确定”完成策略添加。 选择“委托”，并在1中查询到的委托所在行的“操作”列单击“权限配置”。 查询并勾选3中创建的策略。 单击“确定”完成委托权限配置。 重新执行hadoop fs -rm obs://<obs_path>命令。 父主题： 存算分离类

查看更多 →

配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

服务 > Hive > 配置 > 全部配置”。 搜索hive.mapreduce.input.files2memory配置项，并修改hive.mapreduce.input.files2memory配置的值到合适值，根据实际内存和任务情况对此值进行调整。 保存配置并重启受影响的服务或者实例。

查看更多 →

Livy部署 前置条件说明 JDK先配置好(1.8) 安装大数据组件客户端(HDFS\YARN\HIVE\SPARK) 安装机器 前提 CDH中需要有两个Hadoop集群，每个集群下部署一个livy (CDH机器允许部署的情况) CDH机器不允许部署的情况，参考https://deepexi

查看更多 →

1所示，具体说明如下： 源端 云服务器 主网卡和扩展网卡位于同一个VPC内的不同子网。 源端云 服务器 和目的端云服务器位于同一个VPC内的不同子网，因此网络互通，即配置策略路由前，源端云服务器的主网卡可以和目的端云服务器正常通信。 为源端云服务器双网卡配置策略路由后，主网卡和扩展网卡都

查看更多 →

配置云服务器并创建Linux系统盘镜像 操作场景 安装完操作系统后的临时云服务器需要进行相关配置，并安装原生的XEN和KVM驱动，才能保证后续创建的云服务器正常使用。 该任务指导用户完成Linux云服务器的相关配置与驱动安装，从而创建为Linux系统盘镜像。 操作步骤 配置云服务器。

查看更多 →

怎样配置Windows弹性云服务器的虚拟内存？ 开启弹性云服务器的虚拟内存后，会导致内存I/O性能下降。当弹性云服务器内存不足时，建议通过变更规格操作来扩大内存。若因业务需要，必须开启虚拟内存，请参见本节内容进行配置。 内存使用率已经非常高，同时I/O性能也不是很好的情况下，如果

查看更多 →

apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress.Lz4Codec org.apache.hadoop.io.compress.DeflateCodec org.apache.hadoop.io.compress

查看更多 →

获取下载的HDFS客户端配置文件（下载路径/HDFS/hadoop/etc/hadoop）中的“core-site.xml”、“hdfs-site.xml”。获取Yarn客户端配置文件（下载路径/Yarn/config）中的“core-site.xml”。 用于替换原有代码的中的使用的配置文件。

查看更多 →

xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。

查看更多 →

skip=true 安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud：下载地址。（建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本，例如hadoop-huaweicloud-2

查看更多 →

export PATH=$FLINK_HOME/bin:$PATH 安装flink-obs-fs-hadoop。 在Github下载flink-obs-fs-hadoop：下载地址。 flink-obs-fs-hadoop-${flinkversion}-hw-${version}.j

查看更多 →

()”，发现是否要发起认证，还需要判断configuration中是否有配置“hadoop.security.authentication”为“kerberos”。 本Hive业务应用确实没有正确设置此配置，所以被认为不需要做kerberos认证。 分析Hive组件的“jdbc-

查看更多 →

管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig

查看更多 →

main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境配置文件中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce

查看更多 →

CommitProcWorkThread-4 | session=0x12000007553b4903?user=10.177.223.78,zkcli/hadoop.hadoop.com@HADOOP.COM?ip=10.177.223.78?operation=create znode?target=ZooKeeperServer

查看更多 →

hadoop1-daas-com） 配置附加说明 因为集群资源现在是各个环境共用的，开发/测试/生产/...各个环境都可以使用此集群的yarn，因此在配置的时候需要把所有集群环境都配置上。启动时会启动多个实例来处理不同环境的任务。配置例如下图： 图2 配置附加说明 在客户的环境上部署时，通常来说同一套yarn资源不会存在开发/测试/生产/

查看更多 →

ns_cab16de5-87c2-4153-9cca-a6f4ed4278a6":hbase:hadoop:drwx--x--x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check

查看更多 →

Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置： log4j.logger.com.obs= ERROR

查看更多 →

怎样配置弹性云服务器的DNS和NTP信息？ Linux操作系统 以NTP服务器、DNS服务器的操作系统均为SUSE为例： 给弹性云服务器配置NTP服务器。 登录Linux弹性云服务器。 执行以下命令，切换至root用户。 sudo su - 执行以下命令，编辑ntp.conf文件。

查看更多 →