Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（ MRS 3.x之前版本）

查看更多 →

SparkRTC是否支持双向的桌面推送？ 不支持，目前是在1个房间内同一时刻可由1个人共享（屏幕、窗口或者区域）。 父主题： 产品咨询

查看更多 →

任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，在minio中创建桶data-mining-spark，将test文件夹中的test.py脚本上传至桶data-mining-spark的根路径下，请求以下接口 请求地址：http://localhost:8087/spark-submit

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

DLI 提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： def del_spark_batch(dli_client, batch_id): try: resp = dli_client.del_spark_batch_job(batch_id)

查看更多 →

挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

查看更多 →

表示用户作业使用的Spark镜像类型，具体说明如下： 基础型：DLI提供的基础镜像，运行非AI相关作业时选择“基础型”。 AI增强型：DLI提供的AI镜像，运行AI相关作业时选择“AI增强型”。 自定义镜像 ：自定义的Spark镜像，需要选择“ 容器镜像服务 ”中设置的镜像名称及版本。

查看更多 →

功读取到key对应的信息，导致解析DataSource表信息失败。 而在处理Hive格式的表时，Spark2x与Spark1.5的存储方式一致，所以Spark2x可以直接读取Spark1.5创建的表，不存在上述问题。 规避措施： Spark2x可以通过创建外表的方式来创建一张指向Spark1

查看更多 →

Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/

查看更多 →

如何正确退出SparkPack 企业ERP客户端 解决方案 使用以下两种方式之一退出B1客户端： 1）方式一：点击文件->退出（或使用快捷键CTRL+Q） 2）方式二：点击右上角关闭"X" 父主题： FAQ

查看更多 →

gui.json规范 gui.json文件是组件的配置文件。本文介绍gui.json文件的字段详情，您可以参考本文的字段说明，根据自身需求，灵活修改gui.json文件，自定义组件的配置面板。 gui.json规范示例： 1 2 3 4 5 6 7 { "name": "newCom"

查看更多 →

用户Token。通过调用IAM服务获取用户Token接口获取，响应消息头中X-Subject-Token的值。 请求参数 表5、表6和表7中的请求参数为WebSocket建连成功后，用户与数字人对话的请求参数。 表5 请求Message参数 参数 是否必选 参数类型 描述 request_id

查看更多 →

DISABLED：表示禁用。（默认） SERVER_TO_CLIENT_ENABLED：表示开启服务端到客户端。 CLIENT_TO_SERVER_ENABLED：表示开启客户端到服务端。 TWO_WAY_ENABLED：表示开启双向。 clipboard_file_redirection_enable

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

下载客户端”，重新下载并安装Spark客户端，详细操作请参考安装客户端章节，并执行7。 如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。 cd

查看更多 →

功读取到key对应的信息，导致解析DataSource表信息失败。 而在处理Hive格式的表时，Spark2x与Spark1.5的存储方式一致，所以Spark2x可以直接读取Spark1.5创建的表，不存在上述问题。 规避措施： Spark2x可以通过创建外表的方式来创建一张指向Spark1

查看更多 →

注：下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1：手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults.conf中spark.driver.extraJavaOptions的配置项-Dlog4j

查看更多 →