编写程序代码 5 调试，编译代码并导出Jar包 6 上传Jar包到OBS和 DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 7 创建Spark Jar作业 DLI控制台 在DLI控制台创建Spark Jar作业并提交运行作业。 8 查看作业运行结果

查看更多 →

Flink Jar作业提交SQL样例程序（Java） 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor

查看更多 →

本文以IntelliJ IDEA开发工具为例。 获取SDK包和License文件。 如何获取SDK请参见获取数据建模引擎SDK。 操作步骤 解压缩已获取的SDK包。 将解压缩后“design”和“runtime”文件夹下“lib”文件夹中的所有文件引入到已有的Maven工程中。 在“resources”目录下，单击“File

查看更多 →

骤排查： 从Maven私有依赖仓库下载依赖包。 解压缩并查看依赖包内容是否正常。 若依赖包内容异常，再分两种情况排查： 如果是第三方提供的包手动上传到maven私有依赖仓库，确认包文件无误并尝试重新上传（注意同时上传pom与jar文件）。 如果是自己构建（本地/云端构建）的依赖包

查看更多 →

Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud

查看更多 →

MRS 组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2

查看更多 →

Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。

查看更多 →

开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。

查看更多 →

jre/bin/java -Djava.security.egd=file:/dev/random -jar /opt/cloud/sdrs/drm/drm-24.9.0.jar --service.kernel.security.scc.config_path=file:/op

查看更多 →

MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3

查看更多 →

获取驱动jar包并配置JDK1.8 环境准备包括获取驱动jar包、配置JDK1.8。 获取驱动jar包 从发布包中获取驱动jar包，包名为 GaussDB -Kernel-数据库版本号-操作系统-64bit-Jdbc.tar.gz。解压后JDBC的驱动jar包： gsjdbc4.jar：主类名为“org

查看更多 →

Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。

查看更多 →

8环境中使用gaussdbjdbc.jar，不推荐使用gaussdbjdbc-JRE7.jar。 jdbc发布件jar包按照架构分类，gscejdbc.jar包必须与对应的部署环境一致才能使用，其他jar包无需与部署环境一致。 其他JDBC的jar包介绍请参见JDBC兼容性包。 配置JDK1

查看更多 →

无法下载依赖的war、jar文件时怎么办？ 问题现象 本地工具通过私有依赖库无法下载组件，报错为找不到对应的pom文件，日志信息提示如下： 原因分析 依赖中缺失对应的pom文件。 无论是通过gradle还是maven下载依赖，其顺序都为先下载pom文件，然后才是jar或者war，若云端不存在pom文件，则会下载失败。

查看更多 →

MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark

查看更多 →

添加Artifacts 选择“extract to the target JAR”后，单击“OK”。 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 为避免导入不必要Jar包引起Jar包冲突，您只需要加载IoTDB相关的基础Jar包，分别是： flink-iotdb-connector-*

查看更多 →

多任务同时构建导致构建生成jar包内容缺失 问题现象 构建环境异常或不适当的构建方式可能会导致生成的jar包内容有缺失，但构建结果是成功，导致问题难以定位。 前置条件：A项目依赖B项目，同时构建并上传依赖A和依赖B（多人同时构建或流水线设置构建任务并行执行） 构建结果：构建任务B结果为成功，构建任务A结果为成功

查看更多 →

创建KafkaToKafka.properties程序包 创建Flink Jar作业并运行。 创建Flink Jar作业，在应用程序、其他依赖文件选择步骤3导入Flink Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定

查看更多 →

使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。

查看更多 →

为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 查看队列CU使用量。 点击“ 云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。

查看更多 →

上传压缩文件 选择用于存放结果的“decompressed-files-bucket-demo”桶，即可获取zip压缩包内解压缩后的文件： 图3 获取解压缩后的文件 通过华为云SDK使用 企业业务系统可通过华为云提供的SDK服务与OBS桶进行对接，当上传压缩包到华为云OBS桶后，

查看更多 →