开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

arn上的作业状态不一致？ SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ Spark作业访问OBS报错“requestId=XXX”如何处理？

查看更多 →

备份和快照的区别是什么？ 备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如表1所示。 表1 备份和快照的区别 指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储，存储在对象存储（OBS）中，可以实现在云硬盘存储损坏情况下的数据恢复

查看更多 →

容灾和备份的差别请参见容灾和备份的区别是什么。

查看更多 →

实时音视频和直播有什么区别？ SparkRTC支持哪些平台？ SparkRTC有哪些计费项？ SparkRTC最多可以支持多少个人同时视频通话？ SparkRTC是否支持连麦互动？ SparkRTC RoomID是什么？取值区间值是多少？ 两台手机同时运行SparkRTC APP，为什么无法互通？

查看更多 →

AOM与APM同属于立体化运维解决方案体系，共享采集器。AOM提供了应用级故障分析、告警管理、日志采集与分析等能力，能够有效预防问题的产生及快速帮助应用运维人员定位故障，降低运维成本。APM提供了用户体验管理、分布式性能追踪、事务分析等能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。AOM提

查看更多 →

与其他云服务的区别 MTD与SA的区别 态势感知（Situation Awareness，简称SA）是华为云可视化威胁检测和分析的安全管理平台。着重呈现全局安全威胁攻击态势，统筹分析多服务威胁数据和云上安全威胁，帮助企业构建全局安全体系，呈现全局安全威胁攻击态势。 威胁检测服务 （Managed

查看更多 →

SA与HSS服务的区别？ 服务含义区别 态势感知（Situation Awareness，SA）是华为云可视化威胁检测和分析的安全管理平台。着重呈现全局安全威胁攻击态势，统筹分析多服务威胁数据和云上安全威胁，帮助企业构建全局安全体系，呈现全局安全攻击态势。 主机安全服务（Host

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

实时音视频和直播有什么区别？ 直播时延3~5S，分为推流端、直播中心和播放端，推流端将采集的直播流推送到直播中心，直播中心可以对直播流进行处理然后分发。推流协议支持RTMP，播放协议支持RTMP、HTTP-FLV和HLS。 实时音视频时延小于400ms，可适用于1对1或1对多的音

查看更多 →

v1.0/analysis/task/sparkid { "taskId":"xxxx", "sparkId":"xxx" } 参数说明 参数名 类型 备注 taskId String 任务ID。 sparkId String Spark任务ID。 响应 响应样例 { "success":

查看更多 →

并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站：http://spark.apache.org/docs/2.2

查看更多 →

Spark Streaming程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark应用调优 Spark Core调优 SQL和DataFrame调优 Spark Streaming调优 Spark CBO调优 父主题： Spark应用开发常见问题

查看更多 →