的业务系统获取数据后会将数据存储在 MapReduce服务 MRS 集群当中； 通过MapReduce服务 MRS 的数据服务和算法服务助力神策进行复杂的数据处理、算法分析模型、算法标签数据等方面的能力提升； 云 数据仓库 GaussDB (DWS)作为底层数仓为神策提供通用数据的接入和数据的

查看更多 →

GaussDB(DWS)云服务管理控制台提供的相关功能： 集群的创建、删除、扩容、缩容、规格调整、升级、补丁、备份恢复等操作 集群的监控告警管理 IAM用户委托管理 对外API接口管理 不支持的服务 不负责基于GaussDB(DWS)集群之上的客户业务应用开发问题答疑和处理，例如业务设计、代码开发、作业性

查看更多 →

参数需为CIDR格式。此参数配置的目的是允许GaussDB(DWS)集群可以访问GDS服务进行数据导入，请保证所配置的网段包含GaussDB(DWS)集群各主机。 处理方法 重新启动GDS。具体步骤参见安装配置和启动GDS。 修改GDS启动命令中的–H参数，可以尝试修改成–H参数

查看更多 →

HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS

查看更多 →

数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaS

查看更多 →

Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到

查看更多 →

化器，以及当前数据仓库系统所流行的一些黑科技，包括机器码级别的向量计算，算子间和算子内的并行，节点内和节点间并行，使用LLVM优化编译查询计划的本机代码等。这些黑科技极大地提高了数据查询和分析的性能，为用户带来了更好的体验，解决了特定场景当中的业务痛点。 GaussDB(DWS)服务即开即用

查看更多 →

器。 弹性云服务器 的开通是自助完成的，您只需要指定CPU、内存、操作系统、规格、登录鉴权方式即可，同时也可以根据您的需求随时调整弹性 云服务器 的规格，为您打造可靠、安全、灵活、高效的计算环境。 数据仓库服务 GaussDB(DWS) 数据仓库服务（Data Warehouse Se

查看更多 →

随着数据库的大规模应用，以及信息行业的数据爆炸式的增长。为了研究数据之间的关系，挖掘数据隐藏的价值，人们越来越多的需要使用联机分析处理OLAP（On-Line Analytical Processing）进行数据分析，探究一些深层次的关系和信息。但是不同的数据库之间很难做到数据共享，数据之间的集成与分析也存在非常大的挑战。

查看更多 →

Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到

查看更多 →

从数据调研导入：若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致，则可从数据调研中选择相应的数据进行导入。例如，通过数据调研，本实践可获取到源端要进行迁移入湖的数据结构，且目标端MRS Hudi（SDI层）与要同步的源端数据结构一致，因此本实践通过“从数据调研导入”的方式新建表。 说明：

查看更多 →

务连接数据库的账号。 删除、重命名和修改这些账户的密码和权限，会导致任务出错。 表1 MySQ L实例 创建的数据库账户 账户 使用场景 Host 说明 drsFull 全量迁移 关系型数据库MySQL实例 用户启动全量迁移任务时，系统会在目标数据库中添加该账户，用于迁移数据。 drsIncremental

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型 >

查看更多 →

展数据标准管理工作的良好基础，有利于打通数据底层的互通性，提升数据的可用性。 数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束，是对数据的名称、含义、结构、取值等信息的统一定义和规范，以达成对数据的业务理解、技术实现的一致。 数据标准管理是指数据标准的制定和实施

查看更多 →

通过导入工具将导出的元数据信息导入至需要的数据库，可以完成数据库信息的迁移。 适用于元数据迁移。 使用gs_restore导入数据 sql/tmp/tar文件格式 在数据库迁移场景下，支持使用gs_restore工具将事先使用gs_dump工具导出的文件格式，重新导入GaussDB

查看更多 →

知数据仓库行业发展趋势与解决方案，协助企业管理者构建具有竞争力的数据仓库解决方案，助力数字化转型。 培训对象 信息技术主管 数据库管理员 数据库开发者 培训目标 完成该培训后，您将熟悉云化分布式数据仓库的架构、数据库设计与管理、数据迁移、数据库的运维与调优，数据库的安全管理和高可

查看更多 →

diate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history 固定目录 存储预加载历史记录文件的路径 否 MR历史任务日志数据丢失 /tmp/hive-scratch 固定目录 Hive运行时生成的临时数据，如会话信息等 否 当前执行的任务会失败 /user/{user}/

查看更多 →

ISDP+集成方式包含数据集成、页面集成、服务集成和设备集成四类，通过ISDP+集成方式可以快速了解ISDP+提供的集成能力，以及如何集成。 数据集成 ISDP+提供API与ETL两种模式的数据集成：API面向实时数据集成需求，由报表中心提供预先设计好的API，从业务库提供数据；ETL面向非实

查看更多 →

高可靠的企业级数据仓库集群。 您只需单击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 与大数据无缝集成 您可以使用标准SQL查询HDFS、 对象存储服务 （Object Storage Service，OBS）上的数据，数据无需搬迁。

查看更多 →

通过配置相应的调研规则，对待集成的源端系统数据进行调研，方便用户快速获取到要进行数据实施的源系统数据结构。 ETL Mapping脚本自动生成 将方案设计中“ETL映射设计”部分形成的ETL脚本同步到 DataArts Studio 作业指定的目录。 数据入湖作业自动生成 对于调研到的数据，可将需要的数据配置生

查看更多 →

DockerFile 文件中的项目名称一致。 图4 容器创建3 镜像名称：使用流水线构建完成之后的镜像地址。 图5 容器创建4 镜像版本：按照实际情况选择。一般更新之后构建容器选择最新的（最高的）版本。 配置修改 所有的配置文件都通过配置文件覆盖的方式进行配置，一定要在原来的配置文件的基础上进行修

查看更多 →