Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

通常，有以下几种情景需要提供数据仓库上云与实施服务： 数字化转型、 数据治理 项目，需要规划数据仓库分析平台相关内容。 新建局点，拟采购华为数据仓库的情景。 原来老平台无法满足业务需求，拟采购华为数据仓库的情景。 由于业务和数据需求越来越大导致华为数据仓库需要扩容情景。 服务不覆盖范围

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

MapReduce服务 （MapReduce Service， MRS ） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库服务 GaussDB （DWS） LakeFormation与DWS对接，实现湖、仓元数据统一管理。

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

应用元模型信息架构图，查看对应的模型实例数据和关系数据，并对模型和关系进行管理。 实体元模型管理：根据应用元模型信息架构图，单击架构图中的实体节点，查看对应的模型实例数据，并支持创建、编辑、删除实体元模型操作。 关系元模型管理：根据应用元模型信息架构图，单击架构图中的关系节点，查

查看更多 →

导出资源列表 操作步骤 左侧导航树选择“架构设计”进入架构设计页面。 在部署架构列表中选择一个部署架构图，鼠标放到架构图中央，单击“查看架构图”，进入架构图。 单击页面右上角表格图形，可以查看架构图关联的所有资源以及资源详细信息，单击“导出”可以导出资源至Excel。 父主题： 部署架构

查看更多 →

Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

95分位的查询延时30s以内，每天的SQL查询量为数万条。 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构，架构大大简化。 数据湖 联邦查询：通

查看更多 →

架构设计 查看架构图列表 √ √ √ √ 查看回收站架构图列表 √ √ √ √ 查看回收站架构图详情 √ √ √ √ 恢复回收站架构图 √ √ √ × 删除回收站架构图 √ √ √ × 新建架构图 √ √ √ × 重命名架构图 √ √ √ × 导出架构图 √ √ √ √ 复制架构图 √ √

查看更多 →

架构设计 查看架构图列表 √ √ √ √ 查看回收站架构图列表 √ √ √ √ 查看回收站架构图详情 √ √ √ √ 恢复回收站架构图 √ √ √ × 删除回收站架构图 √ √ √ × 新建架构图 √ √ √ × 重命名架构图 √ √ √ × 导出架构图 √ √ √ √ 复制架构图 √ √

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →