，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

java:2662) ... 32 common frames omitted 原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency>

查看更多 →

KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时，如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient010”目录以及服务端的“${BIGDATA

查看更多 →

KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时，如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient010”目录以及服务端的“${BIGDATA

查看更多 →

/opt/client”。 客户端安装完成后，在客户端内创建“lib”目录，用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。 例如客户端软件包的下载路径为主管理节点的“/tmp/ FusionInsight -Client”目录，执行以下命令：

查看更多 →

确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 命令举例： java -cp

查看更多 →

-DincludeScope=compile，导出kafka样例工程依赖的jar包，比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹（此处为“kafka-examples-lib”）拷贝到 MRS 服务的某个Linux环境上任意

查看更多 →

StreamingExampleProducer {BrokerList} {Topic} 其中，ClassPath除样例jar包路径外，还应包含Spark客户端Kafka jar包的绝对路径，例如：/opt/client/Spark2x/spark/jars/*:/opt/client/S

查看更多 →

-version 安装Kafka客户端。 进入/opt目录，执行以下命令获取Kafka客户端软件包。 1 2 cd /opt wget https://archive.apache.org/dist/kafka/2.7.2/kafka_2.12-2.7.2.tgz 解压下载好的软件包。 1 tar

查看更多 →

由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Structured Streaming Kafka依赖包路径为“$SPARK_HOME/jars/stre

查看更多 →

{ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考编包并运行Spark应用。 java -cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/streamingClient010/*:{JAR_PATH} com.huawei

查看更多 →

运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口 在Linux调测程序 导出jar包。 构建jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称 > Lifecycle

查看更多 →

3 --topic {Topic} 启动样例代码的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考编包并运行Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:

查看更多 →

log中出现如下类似日志时，表示Jar包生成成功，您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包（如FlinkStreamJavaExample.jar）复制到Flin

查看更多 →

开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*

查看更多 →

log中出现如下类似日志时，表示Jar包生成成功。您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包（如FlinkStreamJavaExample.jar）拷贝到Linu

查看更多 →

运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口 在Linux调测程序 导出jar包。 构建jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称 > Lifecycle

查看更多 →

用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，当前版本用户除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients jar包复制到$SPARK_HOME/jars目录下，否则会报class

查看更多 →

运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口 在Linux调测程序 导出jar包。 构建jar包方式有以下两种： 方法一： 选择“Maven > 样例工程名称 > Lifecycle

查看更多 →

c的生产消费权限。 密码为用户manager_user的密码。 如果使用开源kafka-client Jar包，密码中的特殊字符会被限定只能使用“$”。 如果使用MRS kafka-client Jar包，密码中支持的特殊字符为Manager支持的特殊字符，例如~`!?,.;-_

查看更多 →

获取相关jar包，获取方法如下： 在Storm客户端的“streaming-cql-<HD-Version>/lib”目录中获取如下jar包： flux-core-<version>.jar flux-wrappers-<version>.jar 获取业务相关其他jar包，如访问

查看更多 →