MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

如何使用PySpark连接MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Impala用开发建议 Coordinator和Executor分离部署，Coordinator根据集群规模部署2-5个 Coordinator承担缓存元数据，解析SQL执行计划，和响应客户端请求的功能主要使用jvm内存，而Executor承担数据读写，算子计算等功能，主要使用o

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

访问FlinkUI/SparkUI页面无法正常显示怎么办？ 问题现象 访问FlinkUI/SparkUI页面无法正常显示，打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列，队列运行作业的时候会重新创建集群，大概需要10分钟左右才能完成集群创建。在集群创建完成之前，访问

查看更多 →

问题排查 SparkRTC通话出现无声、黑屏、卡顿等如何排查？ 为什么入会的时候没有声音？ 为什么视频会出现卡顿？ 如何处理视频黑屏问题？ 为什么无法打开摄像头？ 什么原因导致跨房不成功？ SparkRTC启动云端录制但没有生成录制文件怎么排查？ 集成SparkRTC加入房间失败是什么原因？

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark模板管理 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

页面上 Spark2x导出带有相同字段名的表，结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

、获取测试用例详情、批量执行用例接口、批量更新测试用例结果，涉及接口如下： 创建自定义测试服务类型用例：新建用例进行测试。 更新自定义测试服务类型用例：修改用例信息。 批量删除自定义测试服务类型用例：可同时删除多个用例。 获取测试用例详情：单个查询用例详情。 批量执行测试用例：同时执行多个测试用例。

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？ DataArts Studio 执行调度时，报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办？ 提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接

查看更多 →

MRS如何连接spark-shell？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit

查看更多 →

队列异常时，DLI怎么保证Spark作业的可靠性？ 应用侧调用DLI提交作业，需要有重试机制来保证Spark作业的可靠性。如果队列发生异常时，在后续队列恢复后，通过应用侧重试来保证作业的正常提交。 父主题： 使用咨询

查看更多 →