-
使用catalog连接kerberos安全认证hive on hdfs
![]()
xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。
来自：帮助中心 -
使用catalog连接kerberos安全认证hive on obs
![]()
xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。
来自：帮助中心 -
Flink对接OBS
![]()
export PATH=$FLINK_HOME/bin:$PATH 安装flink-obs-fs-hadoop。 在Github下载flink-obs-fs-hadoop：下载地址。 flink-obs-fs-hadoop-${flinkversion}-hw-${version}.j
来自：帮助中心 -
内存优化型
-
更改DataNode的存储目录
![]()
HDFS > 配置 > 全部配置”，打开HDFS服务配置页面。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto.detect.datapart.dn}”修改为新的目标目录，例如“${BIGDATA_DATA_HOME}/hadoop/data3/dn”。
来自：帮助中心 -
使用代理用户提交Spark作业
![]()
参数名称 值 hadoop.proxyuser.test.hosts * hadoop.proxyuser.test.groups * 修改Yarn实例配置，登录 FusionInsight Manager页面，选择“集群 > 服务 > Yarn > 配置 > 全部配置 > Yarn（服务）
来自：帮助中心 -
查询云服务器是否配置了自动恢复动作（废弃）
![]()
server_id 是 云服务器ID。 请求消息 无 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 support_auto_recovery String 云服务器是否配置了自动恢复动作。 true：表示配置了自动恢复。 false：表示没有配置自动恢复。 请求示例
来自：帮助中心 -
弹性云服务器配置的邮件无法正常发送
![]()
弹性云服务器配置的邮件无法正常发送 处理方法 浏览器发送邮件： 在使用浏览器登录邮箱时直接使用HTTP协议，其端口号默认为80，邮件服务器之间还是使用邮件发送协议：SMTP协议。 通过浏览器发送邮件，则需要开放TCP出方向端口为80。 在弹性云服务器页面找到对应的安全组，单击安全组“ID”，进入“安全组”页面。
来自：帮助中心 -
ZooKeeper开源增强特性
![]()
CommitProcWorkThread-4 | session=0x12000007553b4903?user=10.177.223.78,zkcli/hadoop.hadoop.com@HADOOP.COM?ip=10.177.223.78?operation=create znode?target=ZooKeeperServer
来自：帮助中心 -
重启YARN，本地日志不被删除
-
创建桌面私有镜像的云服务器并配置
![]()
此处设置的“vCPU”和“内存”大小不影响后续购买云桌面的桌面规格。 单击“下一步：网络配置”，进入网络配置界面。参考表2所示说明配置。其他未涉及参数保持默认即可。 表2 网络配置参数说明 参数 配置说明 取值样例 网络 选择使用的虚拟私有云、子网，并设置IP分配方式为默认。 - 安全组
来自：帮助中心 -
HDFS
![]()
compress.lzc.ZCodec。 方式一：参考样例代码里面的pom.xml文件，增加配置： <properties> <hadoop.ext.version>8.0.2-302002</hadoop.ext.version> </properties> ... <dependency>
来自：帮助中心 -
HDFS
![]()
compress.lzc.ZCodec。 方式一：参考样例代码里面的pom.xml文件，增加配置： <properties> <hadoop.ext.version>8.0.2-302002</hadoop.ext.version> </properties> ... <dependency>
来自：帮助中心 -
Spark对接OBS
![]()
Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置： log4j.logger.com.obs= ERROR
来自：帮助中心 -
配置Windows通过EIP访问集群Spark
![]()
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本
来自：帮助中心 -
配置Windows通过EIP访问集群Spark
![]()
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本
来自：帮助中心 -
安装Spark
![]()
安装Spark 前提条件 您需要准备一台可访问公网的Linux机器，节点规格建议为4U8G及以上。 配置JDK 以CentOS系统为例，安装JDK 1.8。 查询可用的JDK版本。 yum -y list java* 选择安装JDK 1.8。 yum install -y java-1
来自：帮助中心 -
输入文件数超出设置限制导致任务执行失败
![]()
服务 > Hive > 配置 > 全部配置”。 搜索hive.mapreduce.input.files2memory配置项，并修改hive.mapreduce.input.files2memory配置的值到合适值，根据实际内存和任务情况对此值进行调整。 保存配置并重启受影响的服务或者实例。
来自：帮助中心 -
配置Windows通过EIP访问普通模式集群HDFS
![]()
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
来自：帮助中心 -
配置Spark对接LakeFormation
![]()
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
来自：帮助中心 -
配置Windows通过EIP访问普通模式集群HDFS
![]()
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
