Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问 DLI 元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务

查看更多 →

指定类的参数列表，参数之间使用空格分隔。 依赖jar包 用户自定义的依赖程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型选择“jar”，具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中，

查看更多 →

使用Cloud Map SDK（Spring Cloud框架） 引入Cloud Map SDK 引入STS Cloud Map依赖STS认证能力，接入Cloud Map必须接入STS，具体请参考引入STS SDK。 引入Cloud Map 在pom.xml中添加Cloud Map SDK依赖。

查看更多 →

Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。

查看更多 →

Spark应用开发规则 Spark应用中，需引入Spark的类 对于Java开发语言，正确示例： // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。 import org

查看更多 →

集成轻量级WEB聊天控件（引入Authorization认证方式） 概述 集成原理 集成步骤 开发前准备 集成开发 测试与验证 常见问题

查看更多 →

txt 开源/第三方软件引入 https://www.ietf.org/rfc/rfc4122.txt 开源/第三方软件引入 http://www.acme.com/bundles 开源/第三方软件引入 proxy.huawei.com 开源/第三方软件引入 工作流bpmn图的xml中使用

查看更多 →

在pipeline作业开发中， MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink Jar单任务作业中使用参数模板。 在脚本中引用脚本模板

查看更多 →

创建KafkaToKafka.properties程序包 创建Flink Jar作业并运行。 创建Flink Jar作业，在应用程序、其他依赖文件选择步骤3导入Flink Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定

查看更多 →

提交Hudi相关的Spark jar作业需要选择Spark版本为3.3.1，且使用的通用队列需要支持Hudi。 单击右上角的”创建作业”即可提交Spark jar的作业。 编写并打包Spark jar的程序包：（以Maven项目为例） 创建或使用现有的maven java项目，在 pom

查看更多 →

如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink Jar 包冲突，导致作用提交失败。 请参考DLI用户指南中提供的依赖包信息先将重复的包删除后再上传。 DLI内置依赖包请参考《 数据湖探索 用户指南》。 父主题： Flink Jar作业类

查看更多 →

. 32 common frames omitted 原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org

查看更多 →

CAE最佳实践一览表 最佳实践 说明 使用CAE托管Nginx静态文件 服务器 本章节介绍如何使用CAE托管Nginx静态文件服务器。您可以将业务代码部分制作镜像后部署到CAE，静态文件部分存储到与该组件关联的并行文件系统中，即可实现混合业务和静态文件的前端组件托管。 Gitlab对接Jenkins自动构建并部署到CAE

查看更多 →

Flink Jar作业提交SQL样例程序 Flink Jar作业提交SQL样例程序开发思路 Flink Jar作业提交SQL样例程序（Java） 父主题： 开发Flink应用

查看更多 →

Flink Jar作业提交SQL样例程序 Flink Jar作业提交SQL样例程序开发思路 Flink Jar作业提交SQL样例程序（Java） 父主题： 开发Flink应用

查看更多 →

在DLI使用Delta提交Spark Jar作业 1. 添加如下依赖 <dependency> <groupId>io.delta</groupId> <artifactId>delta-core_2.12</artifactId> <version>2.3

查看更多 →

- OBS上的桶名称。该桶用于存放Spark程序中使用的jar包、Python程序文件、配置文件等。 obsPath 是 dli-spark-submit-resources OBS上存放jar包、Python程序文件、配置文件等的目录，该目录在bucketName指定的桶下。如果该目录不存在，程序会自动创建。

查看更多 →

NET版本SDK包，需要先配置.Net开发环境。 Visual Studio官网，下载最新版Visual Studio。 下载完毕后，单击exe文件，开始安装。 安装过程中选择工作负荷ASP.NET和Web开发，安装完成后启动即可。 图1 选择安装.NET环境依赖 父主题： 使用SDK（.NET）

查看更多 →

业务类型选择的是网站加速、文件下载加速或点播加速，且源站类型为源站IP或源站 域名 的加速域名，会有两条默认缓存规则。 常规动态文件（如： .php .jsp .asp .aspx）默认缓存过期时间为0，对此类动态文件请求会直接回源，此默认规则允许修改和删除。 所有文件默认30天缓存过期时间，此默认规则允许修改，不允许删除。

查看更多 →

将原项目代码迁移至新项目，文件目录与原项目相同，删除使用的spring框架自动注入的标签。自动注入的类，需要用户自己创建对象。新创建的pom.xml中dependency应该为空，迁移过程中根据需要添加依赖，不用的jar包尽量不引入，根据需要在pom.xml中添加jar包依赖。 新增函数平台依赖，引入请求参数和响应类。

查看更多 →

Net开发环境。 从Visual Studio官网，下载最新版Visual Studio。 下载完毕后，点击exe文件，开始安装。 安装过程中选择“工作负荷 > ASP.NET和Web开发”，如图1所示，安装完成后启动即可。 图1 选择安装.NET环境依赖 父主题： 使用SDK（.NET）

查看更多 →