执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID

查看更多 →

SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark

查看更多 →

依赖NM的 remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败 滚动重启10节点耗时约25分钟 Spark2x 直接重启 仅影响Spark thrift任务，SparkSQL、Spark Submit任务不受影响 直接重启耗时约5分钟

查看更多 →

码工程。 图1 MRS 样例工程代码下载 MRS LTS版本对应样例工程下载地址： MRS 3.3.0-LTS版本：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.3.0。 MRS 3.2.0-LTS

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

DLI 计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark 2.4.x与Spark 3.3.x版本差异对比

查看更多 →

0.0 5.1.2 5.1.2 Ranger 1.0.1 2.0.0 2.0.0 2.0.0 2.0.0 2.3.0 2.3.0 Spark/Spark2x 2.2.2 2.4.5 3.1.1 3.1.1 3.1.1 3.3.1 3.3.1 Sqoop - 1.4.7 - 1.4.7

查看更多 →

依赖NM的 remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败 滚动重启10节点耗时约25分钟 Spark2x 直接重启 仅影响Spark thrift任务，SparkSQL、Spark Submit任务不受影响 直接重启耗时约5分钟

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

TCO对比支持哪些云厂商？ 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格，由于计算方式差别较大，源端和华为云都忽略了IOPS以及突发性吞吐相关计

查看更多 →

SQL、MRS Spark、MRS Flink Job、MRS MapReduce。 要想hive的优先级生效，请联系运维工程师打开MRS Hive优先级配置项的开关。 使用基线运维之前，需要在MRS服务创建Topic，具体操作请参见KafkaUI创建Topic。 DLI约束限制：

查看更多 →

成长地图 | 华为云 MapReduce服务 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图

查看更多 →

Loader JD BCS erver Spark JobHistory Spark SparkResource Spark JDBCServer2x Spark2x JobHistory2x Spark2x SparkResource2x Spark2x MetaStore Hive

查看更多 →

对比M-V模型实例 功能介绍 通过此接口可以对比某个M-V模型 数据实例 的不同版本的属性和关系。建议使用数据建模引擎（xDM Foundation，简称xDM-F）新增的差异对比功能，即使用instance-attrs-comparison和instance-relation-co

查看更多 →

objects 健康对比任务列表。 详情请参见表5。 表5 compare_jobs参数说明 参数 参数类型 描述 id String 任务ID。 type String 对比类型。 start_time String 对比开始时间。 end_time String 对比结束时间。 status

查看更多 →

表示静态对比。 lob字段对比类型配置，key：lobCompare，value：ignore表示忽略，length表示长度对比。 行数对比支持以下配置项： 对比策略配置，多表归一情况下适用，key：comparePolicy，value：normal表示正常对比，manyToOne表示多对一对比。

查看更多 →