打印Error级别的日志 打印一条Error级别的日志。使用方式类似于printf。 接口调用 void hilens::Error(const char * fmt, ... ) 参数说明 表1 参数说明 参数名 说明 fmt 字符串，可以包含嵌入的格式化标签，格式化标签可被随

查看更多 →

打印Debug级别的日志 输出Debug级别的日志信息并保存至日志文件。 接口调用 hilens.debug(msg) 参数说明 表1 参数说明 参数名称 是否必选 参数类型 参数描述 msg 是 字符串 Debug级别的日志信息。单条日志支持最大255个字符。 返回值 None

查看更多 →

在Statistics中会显示“xxx bytes, xxx rows”分别表示表级别的统计信息。也可以通过如下命令显示列统计信息： DESC FORMATTED src a 使用限制：当前统计信息收集不支持针对分区表的分区级别的统计信息。 在Spark客户端的“spark-defaults.conf”配置文件中进行表1设置。

查看更多 →

面的条件： spark.sql.statistics.histogram.enabled : true，默认是false，修改为true开启直方图功能。 spark.sql.cbo.enabled : true，默认为false，修改为true开启CBO。 spark.sql.cbo

查看更多 →

面的条件： spark.sql.statistics.histogram.enabled : true，默认是false，修改为true开启直方图功能。 spark.sql.cbo.enabled : true，默认为false，修改为true开启CBO。 spark.sql.cbo

查看更多 →

本实践使用华为云 CDM 服务将Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云 MRS 服务。 Hive数据迁移分两部分内容： Hive的元数据信息，存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService（华为的Gaussdb数据库

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

op大数据体系下存储在DFS上大型分析数据集。 Hudi不是单纯的数据格式，而是一套数据访问方法（类似 GaussDB (DWS)存储的access层），在Apache Hudi 0.9版本，大数据的Spark，Flink等组件都单独实现各自客户端。Hudi的逻辑存储如下图所示： 写入模式

查看更多 →

存储 存储是保存数据的对象，通常来说，同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID（deviceId）就是最常用的一种标签（tag）。一个标签包括标签名与标签值，例如设备ID：标签名为 deviceId，而它的标签值则是具体的某个设备ID

查看更多 →

存储 存储概述 存储基础知识 云硬盘存储（EVS） 文件存储（SFS） 极速文件存储（SFS Turbo） 对象存储（OBS） 专属存储（DSS） 本地持久卷（Local PV） 临时存储卷（EmptyDir） 主机路径（HostPath） 存储类（StorageClass） 父主题：

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

用户级别图元 图元展示 参数介绍 节点名称：标识节点名称。 描述：节点的详细说明信息。 用户级别：请设置非负整数或对应字符型变量，用户级别默认为0，最高为14，转人工后将优先处理高级别客户的呼叫。 分支条件介绍 表1 分支条件 名称 含义 使用方法 SYSERROR_INNER odfs内部错误

查看更多 →

用户级别图元 图元展示 参数介绍 节点名称：标识节点名称。 描述：节点的详细说明信息。 用户级别：请设置非负整数或对应字符型变量，用户级别默认为0，最高为14，转人工后将优先处理高级别客户的呼叫。 分支条件介绍 表1 分支条件 名称 含义 使用方法 SYSERROR_INNER odfs内部错误

查看更多 →

备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。对于安装了多服务的集群，包含多个Hive和Spark服务实例的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

存储 创建NAS存储 权限策略 管理NAS存储 删除NAS存储 配置 服务器 组挂载策略 父主题： 管理员操作指南

查看更多 →

存储 存储扩容 挂载第三方租户的对象存储 通过StorageClass动态创建SFS Turbo子目录 1.15集群如何从Flexvolume存储类型迁移到 CS I Everest存储类型 自定义StorageClass 使用延迟绑定的云硬盘（csi-disk-topology）实现跨AZ调度

查看更多 →

存储 容器中挂载存储 父主题： k8s Cluster资源配置

查看更多 →

存储 华为云为您提供多种数据存储方式，每种存储方式都具有独特的性能和耐用性组合。这些存储选项可以单独使用，也可以组合使用，以满足您的要求。以下介绍华为云SAP解决方案的存储方式及其主要用途。 云硬盘（EVS） 通过云硬盘服务，华为云提供可扩展的虚拟块存储设备。您可以在线创建云硬盘

查看更多 →

存储 简介 弹性到CCI的工作负载支持多种华为云存储配置，用于满足客户多样化的存储需求。通过阅读本章用户可以： 了解弹性CCI的负载支持的存储类型。 了解弹性CCI的负载Hostpath类型的典型场景以及如何使用。 支持的存储类型 用户在配置负载存储类型时，CCE的console有如下选项。

查看更多 →