xml”所在目录将生成lib文件夹，其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”。将样例工程依赖的Jar包导出，将1生成的Jar包，以及3生成的Jar包，上传到Linux的“lib”目录。 在“/

查看更多 →

ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。该环境需要和clickhouse集群处于同一vpc和安全组，以保证网络连通。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。

查看更多 →

别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中调测Spark应用章节。 SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar，请从软

查看更多 →

jar:$HIVE_HOME/lib/commons-lang-xxx.jar xxx：表示Jar包的版本号。LIB_JARS和HADOOP_CLASSPATH中指定的jar包的版本号需要根据实际环境的版本号进行修改。 运行前准备： 使用Hive客户端，在beeline中执行以下命令创建源表t1： create table

查看更多 →

jar:$HIVE_HOME/lib/commons-lang-xxx.jar xxx：表示Jar包的版本号。LIB_JARS和HADOOP_CLASSPATH中指定的jar包的版本号需要根据实际环境的版本号进行修改。 运行前准备： 使用Hive客户端，在beeline中执行以下命令创建源表t1： create table

查看更多 →

目录下获取打好的jar包。 将导出的Jar包上传至Linux运行环境的任意目录下，例如“/opt/client”。 将工程中的“lib”文件夹和“conf”文件夹上传至和Jar包相同的Linux运行环境目录下（其中“lib”目录汇总包含了工程中依赖的所有的Jar包，“conf”目

查看更多 →

Kafka的依赖包路径，如--jars $(files=($SPARK_HOME/jars/streamingClient010/*.jar); IFS=,; echo "${files[*]}") 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，当

查看更多 →

，输入如下命令，在本地生成已下载JAR包的SHA256值，其中，“D:\wordcount.jar”为JAR包的本地存放路径和JAR包名，请根据实际情况修改。 certutil -hashfile D:\wordcount.jar SHA256 命令执行结果示例，如下所示： SHA256

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HO

查看更多 →

操作步骤 导出Jar包。 右击样例工程，选择导出。 图1 导出Jar包 选择JAR file，单击“Next”。 图2 选择JAR file 勾选“src”目录，导出Jar包到指定位置。单击两次“Next”。 图3 选择导出路径 单击“Finish”，完成导出Jar包。 准备依赖的Jar包和配置文件。

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令：

查看更多 →

目录下获取打好的jar包。 将导出的Jar包上传至Linux运行环境的任意目录下，例如“/opt/client”。 将工程中的“lib”文件夹和“conf”文件夹上传至和Jar包相同的Linux运行环境目录下（其中“lib”目录汇总包含了工程中依赖的所有的Jar包，“conf”目

查看更多 →

客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;，排查是否引入了非法字符。 如果是，修改非法字符，重新执行命令。 重新执行命令后，发生其他错误，查看该jar包的属主属组信息，发现全为root。 修改jar包的属主属组为omm:wheel，重新执行成功。 父主题： 使用Spark

查看更多 →

意业务本身上传的Jar包冲突，可通过Oozie在Yarn上的运行日志打印的加载的Jar包排查是否有Jar包冲突。 自研代码运行异常，可以先运行Oozie的自带样例，排除Oozie自身的异常。 寻求技术人员的支持，需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME

查看更多 →

意业务本身上传的Jar包冲突，可通过Oozie在Yarn上的运行日志打印的加载的Jar包排查是否有Jar包冲突。 自研代码运行异常，可以先运行Oozie的自带样例，排除Oozie自身的异常。 寻求技术人员的支持，需要收集Yarn上Oozie任务运行日志、Oozie自身的日志及组件

查看更多 →

将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中编包并运行Spark程序章节。 SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-h

查看更多 →

将SparkLauncher程序和用户应用程序分别生成Jar包，并上传至运行此应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中编包并运行Spark程序章节。 SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-h

查看更多 →

编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录

查看更多 →

准备样例程序相关依赖jar包。 在调测环境上创建一个目录作为存放依赖jar包的目录，如"/opt/hive_examples/lib"(Linux环境)，将${HIVE_HOME}/lib/下面的包全部复制到该目录下，然后删除里面的derby-10.10.2.0.jar(jar包版本号以实际为准)。

查看更多 →

st-client-example”（Linux环境），将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放进该路径下，并在该目录下创建子目录“src/main/resources"。将hive-rest-client-exampl

查看更多 →