Spark作业使用咨询

DLI Spark作业是否支持定时周期任务作业

DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。

使用DataArts Studio服务进行作业开发请参考《数据治理中心用户指南》。

Spark SQL语法创建表时是否支持定义主键

Spark SQL语法不支持定义主键。

DLI Spark jar作业是否能访问DWS跨源表？

可以访问。

详细操作请参考访问DWS和访问SQL库表。

如何查看Spark内置依赖包的版本？

DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。

查看Spark内置依赖包的版本请参考内置依赖包。

资源包管理中的包是否能够下载?

资源包仅提供托管服务，不提供下载功能。

如何使用API通过公网访问DLI？

DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com

• 数据湖探索的终端节点请参考终端节点。
• 数据湖探索API请参考：数据湖探索API。

DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？

DLI自定义的Spark3.1.1镜像，建议将第三方依赖jar存放/opt/spark/jars目录。