什么是默认密钥？ 默认密钥，是对象存储服务（Object Storage Service，OBS）等其他云服务自动通过密钥管理为用户创建的密钥，其别名后缀为“/default”。 默认密钥可通过密钥管理界面进行查询，不支持禁用、计划删除操作。 默认密钥托管不计费，仅收取API请求

查看更多 →

默认密钥如何生成？ 默认密钥是自动生成的。 在用户第一次通过对应云服务使用KMS加密时，云服务自动通过密钥管理为用户创建的密钥，其别名后缀为“/default”。 默认密钥可通过密钥管理界面进行查询，不支持禁用、计划删除操作。 默认密钥托管不计费，仅收取API请求次数费用，超出免费请求次数后，超出部分会进行计费。

查看更多 →

集群操作默认标签 功能介绍 对已有集群启用或关闭集群默认标签。开启后，集群内节点会打上集群默认标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选

查看更多 →

在Statistics中会显示“xxx bytes, xxx rows”分别表示表级别的统计信息。也可以通过如下命令显示列统计信息： DESC FORMATTED src a 使用限制：当前统计信息收集不支持针对分区表的分区级别的统计信息。 在Spark客户端的“spark-defaults.conf”配置文件中进行表1设置。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

面的条件： spark.sql.statistics.histogram.enabled : true，默认是false，修改为true开启直方图功能。 spark.sql.cbo.enabled : true，默认为false，修改为true开启CBO。 spark.sql.cbo

查看更多 →

面的条件： spark.sql.statistics.histogram.enabled : true，默认为false，修改为true开启直方图功能。 spark.sql.cbo.enabled : true，默认为false，修改为true开启CBO。 spark.sql.cbo

查看更多 →

参加高级别认证考试前是否需要先考取相应低级别认证？ 建议按照HCIA->HCIP->HCIE的顺序进行学习和考证，但这不是必需要求。 父主题： 关于职业认证报考与备考

查看更多 →

成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。 存储路径 例如：“tenant/spark_test”，系统默认将自动在“/tena

查看更多 →

打印Debug级别的日志 打印一条Debug级别的日志。使用方式类似于printf。 接口调用 void hilens::Debug(const char * fmt, ... ) 参数说明 表1 参数说明 参数名 说明 fmt 字符串，可以包含嵌入的格式化标签，格式化标签可被随

查看更多 →

打印Error级别的日志 输出Error级别的日志信息并保存至日志文件。 接口调用 hilens.error(msg) 参数说明 表1 参数说明 参数名称 是否必选 参数类型 参数描述 msg 是 字符串 Error级别的日志信息。单条日志支持最大255个字符。 返回值 None

查看更多 →

在Statistics中会显示“xxx bytes, xxx rows”分别表示表级别的统计信息。也可以通过如下命令显示列统计信息： DESC FORMATTED src a 使用限制：当前统计信息收集不支持针对分区表的分区级别的统计信息。 在Spark客户端的“spark-defaults.conf”配置文件中进行表1设置。

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

op大数据体系下存储在DFS上大型分析数据集。 Hudi不是单纯的数据格式，而是一套数据访问方法（类似 GaussDB (DWS)存储的access层），在Apache Hudi 0.9版本，大数据的Spark，Flink等组件都单独实现各自客户端。Hudi的逻辑存储如下图所示： 写入模式

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

本实践使用华为云 CDM 服务将Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云 MRS 服务。 Hive数据迁移分两部分内容： Hive的元数据信息，存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService（华为的Gaussdb数据库

查看更多 →

源库补全日志级别检查 Oracle为源同步时，如果同步对象需要全列数据，源库需要打开全列补全日志。 不通过原因 同步对象需要全列数据，但是没有打开全列补全日志。 处理建议 打开全列补全日志。 参考如下命令： 库级：alter database add supplemental log

查看更多 →

修改ClickHouse服务级别内存限制 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 为保证ClickHouseServer实例所在节点其他服务实例的正常使用，ClickHouseServer支持修改在当前节点占用的最大内存。 操作步骤 登录FusuinInsight

查看更多 →

配置Yarn本地化日志级别 本章节适用于MRS 3.x及后续版本集群。 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中，选择“集群

查看更多 →

创建告警升级规则升级告警级别 当需要提升告警的级别时，可以通过配置告警升级规则完成。例如严重告警和紧急告警关联的值班模板不同，可以通过升级告警级别，为指定告警修改值班人员。 如果某个告警命中了升级规则，被升级后，会按照对应级别的流程处理，包括是否被抑制、是否自动恢复、是否通知、以

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →