Foundation，简称xDM-F）为了方便用户将同维度的 数据实例 进行分门别类管理、实例数据统一归集的能力。数据分类管理指的是数据实例之间存在的“多对多”关系数据结构，主要包含“数据分类”和“数据分类对象”两个部分。 数据分类：“父模型”为“AbstractCategory”的数据实体。“AbstractC

查看更多 →

Data样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

表1 作业管理参数 参数 参数说明 作业ID 所提交Spark作业的ID，由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息，包括如下。 启动中：正在启动 运行中：正在执行任务 已失败：session已退出

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

查看更多 →

Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 加载空的part文件时，app无法显示在JobHistory的页面上

查看更多 →

- 用户访问的 DLI 服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业

查看更多 →

SparkRTC是否支持单纯的实时音频？ 支持，对端不看视频画面即可。 父主题： SDK使用

查看更多 →

SparkRTC是否支持双向的桌面推送？ 不支持，目前是在1个房间内同一时刻可由1个人共享（屏幕、窗口或者区域）。 父主题： 产品咨询

查看更多 →

ct local drives功能。 打开“运行”窗口。 输入“mstsc”，并单击“确定”。 系统打开“远程桌面连接”窗口。 单击左下角的“选项”，并选择“本地资源”页签。 在“本地设备和资源”栏，单击“详细信息”。 在“本地设备和资源”窗口中，取消勾选“驱动器”。 单击“确定”保存修改。

查看更多 →

ct local drives功能。 打开“运行”窗口。 输入“mstsc”，并单击“确定”。 系统打开“远程桌面连接”窗口。 单击左下角的“选项”，并选择“本地资源”页签。 在“本地设备和资源”栏，单击“详细信息”。 在“本地设备和资源”窗口中，取消勾选“驱动器”。 单击“确定”保存修改。

查看更多 →

任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，在minio中创建桶data-mining-spark，将test文件夹中的test.py脚本上传至桶data-mining-spark的根路径下，请求以下接口 请求地址：http://localhost:8087/spark-submit

查看更多 →

DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： def del_spark_batch(dli_client, batch_id): try: resp = dli_client.del_spark_batch_job(batch_id)

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

在下拉列表中选择要使用的队列。 选择Spark版本。在下拉列表中选择支持的Spark版本，推荐使用最新版本。 不建议长期混用不同版本的Spark/Flink引擎。 长期混用不同版本的Spark/Flink引擎会导致代码在新旧版本之间不兼容，影响作业的执行效率。 当作业依赖于特定版本的库或组件，

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →