调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

进程的JVM参数1 参数 说明 默认日志级别 spark.driver.extraJavaOptions Driver的JVM参数。 INFO spark.executor.extraJavaOptions Executor的JVM参数。 INFO spark.yarn.am.extraJavaOptions

查看更多 →

ght_Spark2x_xxx/install/ FusionInsight -Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →

配置为-1时，将不进行广播。 参见https://spark.apache.org/docs/3.1.1/sql-programming-guide.html。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadc

查看更多 →

Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题： 使用Spark/Spark2x

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →

DeprecatedConfigParameter, ReflectionUtil} import org.apache.spark.{SparkConf, SparkEnv, SparkFiles} import org.slf4j.LoggerFactory import scala.jdk

查看更多 →

备份和容灾的区别主要如下：RPO（Recovery Point Objective）：最多可能丢失的数据的时长。RTO（Recovery Time Objective）：从灾难发生到整个系统恢复正常所需要的最大时长。

查看更多 →

备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如表1所示。

查看更多 →

备份和容灾的区别是什么？ 备份和容灾的区别主要如下： 表1 备份和容灾的差异 对比维度 备份 容灾 使用目的 避免数据丢失，一般通过快照、备份等技术构建数据的数据备份副本，故障时可以通过数据的历史副本恢复用户数据。 避免业务中断，一般是通过复制技术（应用层复制、主机I/O层复制、

查看更多 →

ModelArts与 ModelArts Pro 的区别 ModelArts是一站式AI开发管理平台，提供领先算法技术，保证AI应用开发的高效和推理结果的准确，同时减少人力投入。ModelArts致力于底层模型专业开发、调参等。 ModelArts Pro根据预置工作流生成指定场景模

查看更多 →

AOM与APM有何区别？ AOM与APM同属于立体化运维解决方案体系，共享采集器。AOM提供了应用级故障分析、告警管理、日志采集与分析等能力，能够有效预防问题的产生及快速帮助应用运维人员定位故障，降低运维成本。APM提供了用户体验管理、分布式性能追踪、事务分析等能力，可以帮助运维

查看更多 →

ModelArts与DLS服务的区别？ 深度学习服务（DLS）是基于华为云强大高性能计算提供的一站式深度学习平台服务，内置大量优化的网络模型，以便捷、高效的方式帮助用户轻松使用深度学习技术，通过灵活调度按需服务化方式提供模型训练与评估。 但是，DLS服务仅提供深度学习技术，而Mo

查看更多 →

实时音视频和直播有什么区别？ 直播时延3~5S，分为推流端、直播中心和播放端，推流端将采集的直播流推送到直播中心，直播中心可以对直播流进行处理然后分发。推流协议支持RTMP，播放协议支持RTMP、HTTP-FLV和HLS。 实时音视频时延小于400ms，可适用于1对1或1对多的音

查看更多 →

v1.0/analysis/task/sparkid { "taskId":"xxxx", "sparkId":"xxx" } 参数说明 参数名 类型 备注 taskId String 任务ID。 sparkId String Spark任务ID。 响应 响应样例 { "success":

查看更多 →

Spark应用开发规范 Spark应用开发规则 Spark应用开发建议

查看更多 →

Spark on Hudi开发规范 Spark读写Hudi开发规范 Spark读写Hudi资源配置建议 Spark On Hudi性能调优 父主题： Hudi应用开发规范

查看更多 →

Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop

查看更多 →

zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统 域名 >@<系统域名>;' 父主题： Spark

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →