做到数据共享，数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题， 数据仓库 之父比尔·恩门于1990年提出数据仓库（Data Warehouse）。数据仓库主要功能是将OLTP经年累月所累积的大量数据，通过数据仓库特有的数据储存架构进行OLAP，最终帮助决策者

查看更多 →

S数据连接的添加。 使用数据仓库服务（DWS）数据源 下面示例表示某个服务在不同渠道下的访问量对比饼图。 登录 DLV 控制台，单击“我的大屏”。 在“我的大屏”页面，找到需要编辑的大屏，将鼠标移至该大屏图标上，然后单击编辑按钮进入大屏开发页面。 图3 编辑大屏 从左侧组件库中选择一

查看更多 →

p/Truncate/Alter table)，表级别在线扩容技术，扩容期间业务不中断、无感知。 支持在线升级：8.1.1及以上源版本支持大版本在线升级，8.1.3及以上源版本支持补丁在线升级，升级期间用户无需停止业务，业务存在闪级秒断。 高可靠 ACID 支持分布式事务ACID

查看更多 →

。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随

查看更多 →

ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列，超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数（调整到一个

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

DLV无缝集成华为云数据仓库服务、 数据湖探索 、关系型数据库、 对象存储服务 等，支持本地 CS V、在线API及企业内部私有云数据；满足您各类大数据实时计算、监控的需求，充分发挥大数据计算的能力。 拖拽即可完成组件自由配置与布局、所见即所得，无需编程就能轻松搭建可视化大屏。 DLV特别针对拼接大屏端的

查看更多 →

获取数据仓库自定义属性列表 功能介绍 获取数据仓库自定义属性列表 URI GET /v1.0/{project_id}/common/warehouses/custom-attributes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

新建数据连接 大屏所需的源数据支持使用静态数据和非静态数据： 静态数据：在大屏开发页面中直接键入使用。 非静态数据：用户存储在本地或云服务中的数据，通过“我的数据”连接使用。 假设用户的数据存储在数据仓库服务（DWS）中，本章节介绍如何使用“我的数据”，通过建立DWS与DLV的连接，使得大屏可以使用DWS中的数据。

查看更多 →

SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。 MRS 支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。

查看更多 →

。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

数据连接概述 DLV提供了丰富的数据源，您在使用大屏时可以根据数据存储的位置，进行数据连接，在大屏上展示数据结果。 登录DLV控制台，单击“我的数据”，您可以对数据源进行管理。 DLV目前支持接入以下几种类型的数据源： API类 数据库类 文件类 其他 API类 DLV目前只支持API数据源。

查看更多 →

。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源，具体数据类型请参见支持的数据源。

查看更多 →

求，从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark

查看更多 →

求，从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark

查看更多 →

由于关系型数据库所采用的JDBC驱动相同，所以连接参数也一样，具体参数请参见PostgreSQL/SQLServer连接参数说明。 数据仓库服务（DWS） 连接数据仓库服务（DWS）时，具体参数请参见数据仓库服务（DWS）连接参数说明。 SAP HANA 连接SAP HANA时，具体参数请参见SAP HANA连接参数说明。

查看更多 →

此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site

查看更多 →

er的内存溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数： “yarn.app.mapreduce

查看更多 →

大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为

查看更多 →