MapReduce服务 （MapReduce Service， MRS ） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库 服务 GaussDB （DWS） LakeFormation与DWS对接，实现湖、仓元数据统一管理。

查看更多 →

复制和删除操作。 单击“查看架构图”进入架构图详情，单击画布上方“浏览”开关打开编辑功能，开始画图。 部署架构图卡片左上角有“专家绘图”字样的架构图，是技术专家在管理工具进行画图后，同步到优化顾问架构设计的，您只能查看架构图，无法进行编辑操作，如要进行编辑修改，请联系技术专家 父主题：

查看更多 →

数据湖探索（DLI） 使用DLI Spark通用队列 - 数据仓库服务（DWS） 使用DLI Spark通用队列 DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。

查看更多 →

产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，用户密

查看更多 →

“业务架构”列表中找到刚刚新建的业务架构图，鼠标放到架构图中央，单击“查看架构图”，进入架构图。 单击画图上方“浏览”开关打开编辑功能。 左侧提供了画图需要的基础图元。 左侧“部署架构”一栏包含了已经创建好的部署架构图，可以拖拽至画布进行关联画图，还可以双击部署架构图图元查看架构图信息。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

提供 数据湖 元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（ DLI ）、 AI开发平台 ModelArts、 数据治理中心 DataArts Studio 等多种

查看更多 →

导出资源列表 操作步骤 左侧导航树选择“架构设计”进入架构设计页面。 在部署架构列表中选择一个部署架构图，鼠标放到架构图中央，单击“查看架构图”，进入架构图。 单击页面右上角表格图形，可以查看架构图关联的所有资源以及资源详细信息，单击“导出”可以导出资源至Excel。 父主题： 部署架构

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以ro

查看更多 →

无法连接数据仓库集群时怎么处理？ 检查原因 基本原因可能有以下几种： 集群状态是否正常。 连接命令是否正确，用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接，还需要检查以下可能导致异常的原因： 弹

查看更多 →

数据在数据仓库服务中是否安全？ 安全。在大数据时代，数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用，下不碰数据”的承诺，保证用户核心资产的安全。这是对用户和社会的承诺，也是公有云及其伙伴商业成功的保障和基石。 数据仓库服务工程师对整个数据仓库系统进行了电信系

查看更多 →

应用元模型信息架构图，查看对应的模型实例数据和关系数据，并对模型和关系进行管理。 实体元模型管理：根据应用元模型信息架构图，单击架构图中的实体节点，查看对应的模型实例数据，并支持创建、编辑、删除实体元模型操作。 关系元模型管理：根据应用元模型信息架构图，单击架构图中的关系节点，查

查看更多 →

Jar读写DIS开发指南 介绍Flink Jar作业读写DIS数据的操作方法。 Spark Jar作业开发 使用Spark Jar作业读取和查询OBS数据 介绍从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业的开发样例。 数据迁移 迁移Hive数据至DLI 介绍如何通过 CDM 数据同步功能，迁移MRS

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题： Spark开发指南

查看更多 →

Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JD BCS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →