中连续捕获、传送和存储数TB数据。 数据仓库 服务 GaussDB (DWS) 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储，分析等场景。

查看更多 →

通常，有以下几种情景需要提供数据仓库上云与实施服务： 数字化转型、 数据治理 项目，需要规划数据仓库分析平台相关内容。 新建局点，拟采购华为数据仓库的情景。 原来老平台无法满足业务需求，拟采购华为数据仓库的情景。 由于业务和数据需求越来越大导致华为数据仓库需要扩容情景。 服务不覆盖范围

查看更多 →

数据湖探索（DLI） 使用DLI Spark通用队列 - 数据仓库服务（DWS） 使用DLI Spark通用队列 DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。

查看更多 →

Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨

查看更多 →

MRS 最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过

查看更多 →

95分位的查询延时30s以内，每天的SQL查询量为数万条。 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构，架构大大简化。 数据湖 联邦查询：通

查看更多 →

的详细信息，请参考《 MapReduce服务 用户指南》。 用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS) 支持在相同网络中，配置一个GaussDB(DWS) 集群连接到M

查看更多 →

应用元模型信息架构图，查看对应的模型实例数据和关系数据，并对模型和关系进行管理。 实体元模型管理：根据应用元模型信息架构图，单击架构图中的实体节点，查看对应的模型实例数据，并支持创建、编辑、删除实体元模型操作。 关系元模型管理：根据应用元模型信息架构图，单击架构图中的关系节点，查

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

API类 DLV 目前只支持API数据源。 数据库类 DLV支持以下几种数据库： 数据仓库服务（DWS） 数据湖探索（ DLI ） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL

查看更多 →

架构设计 查看架构图列表 √ √ √ √ 查看回收站架构图列表 √ √ √ √ 查看回收站架构图详情 √ √ √ √ 恢复回收站架构图 √ √ √ × 删除回收站架构图 √ √ √ × 新建架构图 √ √ √ × 重命名架构图 √ √ √ × 导出架构图 √ √ √ √ 复制架构图 √ √

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

Spark SQL语法概览 本章节介绍了目前DLI所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表

查看更多 →

test，输入密码完成认证（首次登录需要修改密码） 使用Spark的beeline命令提交任务，创建Spark表： spark-beeline create table sparktest(a int, b string); insert into sparktest values (1,"test01")

查看更多 →

Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

进程的JVM参数1 参数 说明 默认日志级别 spark.driver.extraJavaOptions Driver的JVM参数。 INFO spark.executor.extraJavaOptions Executor的JVM参数。 INFO spark.yarn.am.extraJavaOptions

查看更多 →

ght_Spark2x_xxx/install/ FusionInsight -Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →

配置为-1时，将不进行广播。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold

查看更多 →

Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题： 使用Spark/Spark2x

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →

Studio服务进行作业开发请参考《 数据治理中心 用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DLI内置依

查看更多 →