处理步骤 将Spark的executor日志输出目录修改成其他名称： 打开日志配置文件，默认在“<客户端安装目录>/Spark/spark/conf/log4j-executor.properties”。 将日志输出文件改名。 例如： log4j.appender.sparklog.File

查看更多 →

开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码示例： hbase.root

查看更多 →

开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段： hbase.root

查看更多 →

Spark yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO？ 回答 登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件，修改参数“Log4j

查看更多 →

Flink Client CLI介绍 Flink CLI详细的使用方法参考官网描述：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ops/cli.html。 常用CLI Flink常用的CLI如下所示： yarn-session

查看更多 →

GS_CLIENT_GLOBAL_KEYS GS_CLIENT_GLOBAL_KEYS系统表记录密态等值特性中客户端加密主密钥相关信息，每条记录对应一个客户端加密主密钥。 表1 GS_CLIENT_GLOBAL_KEYS字段 名称 类型 描述 oid oid 行标识符（隐含字段）。

查看更多 →

PG_COMM_CLIENT_INFO PG_COMM_CLIENT_INFO视图存储单个节点客户端连接信息（DN上查询该视图显示CN连接DN的信息）。 表1 PG_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text

查看更多 →

PGXC_COMM_CLIENT_INFO PGXC_COMM_CLIENT_INFO视图存储所有节点客户端连接信息（DN上查询该视图显示CN连接DN的信息）。 表1 PGXC_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。

查看更多 →

Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示： yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session

查看更多 →

COMM_CLIENT_INFO COMM_CLIENT_INFO视图显示单个节点活跃的客户端连接信息（DN上查询该视图显示 CN连接DN的信息），默认只有系统管理员权限才可以访问此系统视图。 表1 COMM_CLIENT_INFO 字段 名称 类型 描述 node_name text

查看更多 →

COMM_CLIENT_INFO COMM_CLIENT_INFO视图显示单个节点活跃的客户端连接信息（DN上查询该视图显示CN连接DN的信息），默认只有系统管理员权限才可以访问此系统视图。 表1 COMM_CLIENT_INFO字段 名称 类型 描述 node_name text

查看更多 →

在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l

查看更多 →

在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l

查看更多 →

Spark作业的Client模式和Cluster模式有什么区别？ 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

是否支持Log4j插件上报日志到LTS？ LTS不支持log4j插件上报日志到LTS，原因如下： 目前Log4j官网已经不再提供Log4j的后期维护，推荐用户使用Log4j2，支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患，所以不再提供Log4j的日志采集能力。

查看更多 →

添加独立master、client 功能介绍 由于集群数据面业务的增长或者不确定性，很难在一开始就能够把集群的规模形态想明白，该接口能够在非独立master和client的集群上面添加独立master、client角色。 调用方法 请参见如何调用API。 URI POST /v1

查看更多 →

GLOBAL_COMM_CLIENT_INFO GLOBAL_COMM_CLIENT_INFO视图可用来查询整个集群全局节点活跃的客户端连接信息，默认只有系统管理员权限才可以访问此系统视图。 表1 GLOBAL_COMM_CLIENT_INFO字段 名称 类型 描述 node_name

查看更多 →

GS_CLIENT_GLOBAL_KEYS GS_CLIENT_GLOBAL_KEYS系统表记录密态等值特性中客户端加密主密钥相关信息，每条记录对应一个客户端加密主密钥。 表1 GS_CLIENT_GLOBAL_KEYS字段 名称 类型 描述 oid oid 行标识符（隐含字段）。

查看更多 →

GLOBAL_COMM_CLIENT_INFO GLOBAL_COMM_CLIENT_INFO用来查询整个集群全局节点活跃的客户端连接信息，默认只有系统管理员权限才可以访问此系统视图。 表1 GLOBAL_COMM_CLIENT_INFO字段 名称 类型 描述 node_name

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →