关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对弹性云 服务器 的使用方式和 MapReduce服务 开发组件有一定的了解。

查看更多 →

获取驱动jar包并配置JDK1.8 环境准备包括获取驱动jar包、配置JDK1.8。 获取驱动jar包 从发布包中获取驱动jar包，包名为 GaussDB -Kernel-数据库版本号-操作系统-64bit-Jdbc.tar.gz。解压后JDBC的驱动jar包： gsjdbc4.jar：主类名为“org

查看更多 →

获取驱动jar包并配置JDK1.8 环境准备包括获取驱动jar包、配置JDK1.8。 获取驱动jar包 从发布包中获取驱动jar包，包名为GaussDB-Kernel_数据库版本号_操作系统_64bit_Jdbc.tar.gz（如GaussDB-Kernel_505.2.RC1_Kylin_64bit_Jdbc

查看更多 →

MRS 组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3

查看更多 →

{Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HOM

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HO

查看更多 →

参数 说明 本实践举例值 -javaagent 采集探针依赖的jar包，该参数值是固定的，均取值为：/opt/oss/servicemgr/ICAgent/pinpoint/pinpoint-bootstrap.jar /opt/oss/servicemgr/ICAgent/pi

查看更多 →

运行环境如何安装Python包？ Python运行环境已安装常用的python包。如果没有，可通过如下步骤安装： 本机下载pip包。 将pip包上传至OBS。 在代码中下载OBS中pip包。 pip本地安装。 import os os.system('pip install pacakge')

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令：

查看更多 →

在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹（此处为“kafka-examples-lib”）拷贝到MRS服务的某个Linux环境上任意目录下，例如：“/opt/example”，然后将刚才生成的jar包拷贝到“/opt/exampl

查看更多 →

工作目录，默认为与jar包同级的workdir，日志文件存在工作目录中 依赖jar包 使用不同的Flume组件需要额外添加相关的Jar包，详情见第二章依赖驱动清单。 如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。 可以直接将压缩包中的ja

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令：

查看更多 →

多任务同时构建导致构建生成jar包内容缺失 问题现象 构建环境异常或不适当的构建方式可能会导致生成的jar包内容有缺失，但构建结果是成功，导致问题难以定位。 前置条件：A项目依赖B项目，同时构建并上传依赖A和依赖B（多人同时构建或流水线设置构建任务并行执行） 构建结果：构建任务B结果为成功，构建任务A结果为成功

查看更多 →

{Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HOM

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HO

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME

查看更多 →

打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers>

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME

查看更多 →

ler实现类代码（客户端）。如果您已在华为云上部署应用，生成应用运行态，安装SDK时需忽略此JAR包。 安装SDK 开发过程中，您有任何问题可以在华为云工业数字模型驱动引擎论坛中发帖求助。 解压缩下载的Java SDK。 将解压缩后的JAR包引入到已有的Maven工程中。 以IntelliJ

查看更多 →

MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark

查看更多 →

{Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME/

查看更多 →