import命令时，会启动MapReduce任务，由于 MRS Hadoop安装目录（/opt/Bigdata/ FusionInsight _HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib）下自带了postgre驱动包gsjdbc4-*

查看更多 →

若配置了多于一种的压缩格式需要使用英文逗号分隔。 org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.DeflateCodec

查看更多 →

spark.hadoop.fs.obs.threads.read.core=500 spark.hadoop.fs.obs.threads.read.max=1000 spark.hadoop.fs.obs.write.buffer.size=8192 spark.hadoop.fs.obs

查看更多 →

参数名称 值 hadoop.proxyuser.test.hosts * hadoop.proxyuser.test.groups * 配置中的test是实际运行用户。 参数“hadoop.proxyuser.test.hosts”值为“*”：表示test用户连接后，可以使用任意代理用户，不限制集群节点。

查看更多 →

principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.hadoop.com@HADOOP.COM', 'hadoop.security.authentication'

查看更多 →

SHELL 操作格式：hadoop fs <args> 直接输入命令即可。例如： 查看对应目录下内容 hadoop fs -ls /tmp/input/ 创建目录 hadoop fs -mkdir /tmp/input/new_dir 查看文件内容 hadoop fs -cat /tmp/input/file1

查看更多 →

为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写memstore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region

查看更多 →

为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写MemStore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region

查看更多 →

仅支持Spark3.3.1（Spark通用队列场景）及以上版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Spark3.3.1版本、且已在作业中配置允许 DLI 访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。

查看更多 →

主组为hadoop hdfs/hadoop.<系统 域名 > 主组为hadoop mapred 主组为hadoop mapred/hadoop.<系统域名> 主组为hadoop mr_zk 主组为hadoop mr_zk/hadoop.<系统域名> 主组为hadoop hue 主组为supergroup

查看更多 →

CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。

查看更多 →

import命令时，会启动MapReduce任务，由于MRS Hadoop安装目录（${BIGDATA_HOME}/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib）下自带了postgre驱动包gsjdbc4-*

查看更多 →

/srv/BigData/hadoop/data1 /dev/xvdc 700G 900G 200G 78% /srv/BigData/hadoop/data2 /dev/xvdd 700G 900G 200G 78% /srv/BigData/hadoop/data3 /dev/xvde

查看更多 →

yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 100 obs://OBS并行文件系统名称/hadoop1/teragen1 执行以下命令将OBS下的数据复制到HDFS：

查看更多 →

输出显示了在审计日志中添加了ZooKeeper客户端用户“zkcli/hadoop.hadoop.com@HADOOP.COM”的日志。 ZooKeeper中的用户详情： 在ZooKeeper中，不同的认证方案使用不同的凭证作为用户。 基于认证供应商的要求，任何参数都可以被认为是用户。

查看更多 →

test@HADOOP.COM Valid starting Expires Service principal 01/25/17 11:06:48 01/26/17 11:06:45 krbtgt/HADOOP.COM@HADOOP.COM 如上例中当前认证用户为test。

查看更多 →

使用 1. 验证北向应用NA通过云端ITIntegration调用IT应用（IA） 验证方法可选择 API Explorer 、Postman等接口测试工具、实际构建南向应用NA三种方式来验证。 如果使用Postman等接口调试工具或者实际构建南向应用NA来测试请参考API参考。 API

查看更多 →

使用 语法格式 创建增量物化视图 CREATE INCREMENTAL MATERIALIZED VIEW [ view_name ] AS { query_block }; 全量刷新物化视图 REFRESH MATERIALIZED VIEW [ view_name ]; 增量刷新物化视图

查看更多 →

使用 语法格式 创建增量物化视图 CREATE INCREMENTAL MATERIALIZED VIEW view_name AS query; 全量刷新物化视图 REFRESH MATERIALIZED VIEW view_name; 增量刷新物化视图 REFRESH INCREMENTAL

查看更多 →

使用 语法格式 创建增量物化视图 CREATE INCREMENTAL MATERIALIZED VIEW [ view_name ] AS { query_block }; 全量刷新物化视图 REFRESH MATERIALIZED VIEW [ view_name ]; 增量刷新物化视图

查看更多 →

return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException

查看更多 →