编写程序代码 5 调试，编译代码并导出Jar包 6 上传Jar包到OBS和 DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 7 创建Spark Jar作业 DLI控制台 在DLI控制台创建Spark Jar作业并提交运行作业。 8 查看作业运行结果

查看更多 →

Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud

查看更多 →

样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包，也可以替换成开源的HBase jar包访问 表格存储服务 ，支持1.X.X版本以上的开源HBase API。如果需要在应用中引入 表格存储 服务的HBase jar包，可以在Maven中配置如下依赖。 <dependencies>

查看更多 →

Flink Jar作业提交SQL样例程序（Java） 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor

查看更多 →

获取驱动jar包并配置JDK环境 环境准备包括获取驱动jar包、配置JDK环境。 JDBC包 从发布包中获取驱动jar包，包名为 GaussDB -Kernel_数据库版本号_操作系统_64bit_Jdbc.tar.gz。解压后JDBC的驱动jar包： opengaussjdbc.jar：主类名为“com

查看更多 →

支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 Flink Jar所在的OBS路径

查看更多 →

对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Python程序也有依赖一些第三方库，尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上，通常是直接基于pip把Pyth

查看更多 →

Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud

查看更多 →

获取驱动jar包并配置JDK环境 环境准备包括获取驱动jar包、配置JDK环境。 JDBC包 从发布包中获取驱动jar包，包名为GaussDB-Kernel_数据库版本号_操作系统_64bit_Jdbc.tar.gz。解压后JDBC的驱动jar包： opengaussjdbc.jar：主类名为“com

查看更多 →

导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF 配置FlinkServer UDF安全沙箱 父主题： 使用Flink

查看更多 →

工作目录，默认为与jar包同级的workdir，日志文件存在工作目录中 依赖jar包 使用不同的Flume组件需要额外添加相关的Jar包，详情见第二章依赖驱动清单。 如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。 可以直接将压缩

查看更多 →

若依赖包内容异常，再分两种情况排查： 如果是第三方提供的包手动上传到maven私有依赖仓库，确认包文件无误并尝试重新上传（注意同时上传pom与jar文件）。 如果是自己构建（本地/云端构建）的依赖包，且已确认代码无误，则检查是否是多任务同时构建导致构建生成jar包内容缺失。 父主题： Maven构建

查看更多 →

Flink 1.15版本支持Flink Jar作业最小化提交。 Flink Jar作业最小化提交是指Flink仅提交作业必须的依赖项，而不是整个Flink环境。通过将非Connector的Flink依赖项（以flink-开头）和第三方库（如Hadoop、Hive、Hudi、My

查看更多 →

开发实时处理单任务 MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。

查看更多 →

8环境中使用gaussdbjdbc.jar，不推荐使用gaussdbjdbc-JRE7.jar。 jdbc发布件jar包按照架构分类，gscejdbc.jar包必须与对应的部署环境一致才能使用，其他jar包无需与部署环境一致。 其他JDBC的jar包介绍请参见JDBC兼容性包。 驱动类

查看更多 →

此dockerfile文件位置:/home,jar包位置:/home/monitor COPY monitor /opt/iot/edge/monitor #用户 USER root #开放端口 EXPOSE 8080 #运行命令 CMD ["java", "-jar", "/opt/i

查看更多 →

MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2

查看更多 →

Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。

查看更多 →

com/bundles 开源/第三方软件引入 proxy.huawei.com 开源/第三方软件引入 工作流bpmn图的xml中使用 www.omg.org 开源/第三方软件引入 工作流bpmn图的xml中使用 http://www.activiti.org 开源/第三方软件引入 工作流bpmn图的xml中使用

查看更多 →

第三方视频推流 接口描述 对于自定义视频流采集的场景，采集到数据流之后，调用该接口进行第三方推流。 注意事项 会议或者呼叫中调用，会前或者会后调用无效。 方法定义 1 2 3 4 5 6 /** * 第三方采集推流 * @param videoFrameParam

查看更多 →

使用第三方镜像 操作场景 CCE支持拉取第三方镜像仓库的镜像来创建工作负载。 通常第三方镜像仓库必须经过认证（账号密码）才能访问，而CCE中容器拉取镜像是使用密钥认证方式，这就要求在拉取镜像前先创建镜像仓库的密钥。 前提条件 使用第三方镜像时，请确保工作负载运行的节点可访问公网。

查看更多 →