Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学

查看更多 →

1/install/ FusionInsight -Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab --master yarn spark-submit 用于提交Spark应用到Spark集群中运行，返回运行结果。需要指定class、master、jar包以及入参。

查看更多 →

1/install/FusionInsight-Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab --master yarn spark-submit 用于提交Spark应用到Spark集群中运行，返回运行结果。需要指定class、master、jar包以及入参。

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学

查看更多 →

运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更，如果用户代码里直接继承了该Logging，且编译时使用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang

查看更多 →

ght_Spark2x_xxx/install/FusionInsight-Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →

Driver、Executor、AM进程的JVM参数如表2所示。在Spark客户端的配置文件“spark-defaults.conf”中进行配置。Driver、Executor、AM进程的日志级别在对应的JVM参数中的“-Dlog4j.configuration”参数指定的log4j配置文件中设置。 表2 进程的JVM参数1

查看更多 →

DIS Client 功能 通过DIS Client节点可以给DIS通道发送消息。 您可以参考跨空间进行作业调度，获取DIS Client节点的使用案例。 参数 用户可参考表1配置DIS Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以

查看更多 →

Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度，获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接

查看更多 →

志。例如：执行命令 spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client /opt/client/Spark/spark/examples/jars/spark-examples_2

查看更多 →

告警、Spark任务已提交失败、无Spark应用不可用告警的问题 解决Spark的JDBC进程kill后，7min自愈，且无告警上报，存在可靠性风险的问题 解决Spark的JD BCS erver进程挂起，进程不自愈，且无告警上报，spark应用提交失败的问题 解决Spark停止JD

查看更多 →

Rest Client 功能 通过Rest Client节点执行一个华为云内的RESTful请求。 Rest Client算子的具体使用教程，请参见获取Rest Client算子返回值教程。 当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进

查看更多 →

dws-client 简介 dws-client是一款基于DWS JDBC实现的高性能、便捷入库工具，用户在使用时必须保证JDBC可以连接。其中使用dws-client入库具备如下优势： dws-client提供对缓存的空间、时间维度的限制，支持攒批提升入库性能，以满足业务在高峰低谷期的入库实时性。

查看更多 →

环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake

查看更多 →

failed”的错误。 图2 log4j报错 查看log4j发现用户将“log4j.properties”文件改成了“log4g-cli.properties”（“log4j.properties”的名字是固定的不可随意修改）导致报错。 图3 查看log4j 修改后可以正常提交作业。

查看更多 →

配置HBase应用输出运行日志 功能介绍 将hbase client的日志单独输出到指定日志文件，与业务日志分开，方便分析定位hbase的问题。如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.propertie

查看更多 →

开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 hbase.root.logger=INFO

查看更多 →

分开，方便分析定位HBase的问题。如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 hbase.root.logger=INFO

查看更多 →

开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 hbase.root.logger=INFO

查看更多 →

Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示： yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session

查看更多 →

Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示： yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session

查看更多 →