- 用户访问的 DLI 服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业

查看更多 →

自动识别图片上的车架号信息。 泰文身份证识别 自动识别身份证上的全部信息，一次扫描即可识别身份证号码、姓名、地址等全部信息。 泰国车牌识别 识别泰国车牌图片中的车牌信息，返回识别结果和车牌的区域位置信息。 道路运输从业资格证 自动识别道路运输从业资格证，根据不同版式内容返回对应的关键文字信息，可用于货运场景资质审核场景。

查看更多 →

Data样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 加载空的part文件时，app无法显示在JobHistory的页面上

查看更多 →

挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

表1 作业管理参数 参数 参数说明 作业ID 所提交Spark作业的ID，由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息，包括如下。 启动中：正在启动 运行中：正在执行任务 已失败：session已退出

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1

查看更多 →

Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题： Spark2x开发指南（安全模式）

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（ MRS 3.x之前版本）

查看更多 →

认值。 spark.executor.instances：执行程序的Pod数量。 spark.kubernetes.authenticate.driver.serviceAccountName：驱动程序的集群权限，选择2中创建的serviceaccount。 spark.kubernetes

查看更多 →

左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”，然后单击“确定”，成功后配置生效。 日志格式 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

理功能。 示例场景 汽车是道路交通管理最重要的一个对象之一，对汽车进行准确分类才能对汽车的车辆属性进行准确地定位，才能对汽车的特点进行合理地分析，才能对汽车进行有效、到位地管理。例如核定车型、车辆等级、车辆类型、车辆用途等。按照不同的分类方法，汽车大致分为如下几种类型。 图1 汽车分类

查看更多 →

功读取到key对应的信息，导致解析DataSource表信息失败。 而在处理Hive格式的表时，Spark2x与Spark1.5的存储方式一致，所以Spark2x可以直接读取Spark1.5创建的表，不存在上述问题。 规避措施： Spark2x可以通过创建外表的方式来创建一张指向Spark1

查看更多 →

SparkRTC是否支持双向的桌面推送？ 不支持，目前是在1个房间内同一时刻可由1个人共享（屏幕、窗口或者区域）。 父主题： 产品咨询

查看更多 →