中软国际数据治理专业服务解决方案实践

图7 创建数据表 关键参数说明： 数据连接：步骤4中创建的DWS数据连接。 数据库：步骤6中创建的数据库。 脚本运行成功后，可以通过如下脚本检查数据表是否创建成功。确认数据表创建成功后，该脚本后续无需使用，可直接关闭。 SELECT * FROM pg_tables; 认证数据准备

查看更多 →

心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 创建一个到 DLI 的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。

查看更多 →

步骤三：接入数据 接入资产 接入日志数据

查看更多 →

密码：Kerberos认证用户对应的密码。 图2 创建 MRS Hive数据连接 创建数据库 根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念，此处先简单了解即可，在数据架构时将深入了解与操作。 SDI (Source

查看更多 →

步骤2：数据开发处理 本步骤通过BI报表原始数据，分析10大用户关注最多的产品和10大用户评价最差的商品，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 分析10大用户关注最多的产品 在 DataArts Studio 控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。

查看更多 →

avg_rating desc limit 10 图2 脚本（top_rating_movie） 关键参数说明： 数据连接：步骤4中创建的DWS数据连接。 数据库：步骤6中创建的数据库。 脚本调试无误后，单击“保存并提交版本”提交该脚本，脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。

查看更多 →

步骤七：插入KV数据 操作场景 键值数据（Key-Value），简称KV，是文档型的数据项，提供主键到Value的映射。KVS提供多种使用方式，您可以根据使用习惯、业务场景选择不同的方式来插入KV数据。 操作步骤 表1 不同访问方式插入KV数据的方法 访问方式 插入KV数据方法 控制台

查看更多 →

步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的

查看更多 →

成整个数据的处理分析流程。 在DataArts Studio数据开发模块中，您将完成以下步骤： 数据管理 脚本开发 作业开发 历史数据到源数据表，使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗，使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。

查看更多 →

单击输入框后的“选择”，可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。 8000 数据库名称 配置为要连接的数据库名称。 demo 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 dbadmin 密码 用户密码。 -

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

原始记录”，单击“逆向数据库”，通过逆向数据库，导入原始表。 逆向数据库依赖于数据资产采集，请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中，配置如下所示参数，然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。 图26

查看更多 →

建议使用WinRAR 5.1版本 安装过程 MySQL数据库初始化 MySQL数据必须禁用大小写敏感 登录MySQL数据库按以下顺序执行初始化脚本文件： 1_mysql_create.sql 2_mysql_init_data.sql DWS数据库初始化 高斯数据库根据使用的模式不一样，初始化操作也不一样，分为三种情况：

查看更多 →

步骤一：创建数据源 操作场景 进行统一数据源管理，当前仅用于SQL审核。 前提条件 添加的数据源必须是正确并且可以连接成功。 操作步骤 登录UGO控制台。 单击左侧导航栏的“数据源管理”。 在数据源管理页面，单击右上角的“创建数据源”按钮。 进入创建数据源页面，完成基本信息的填写。

查看更多 →

步骤4：元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控，我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。

查看更多 →

（可选）步骤二：购买数据磁盘 本章节将介绍如何购买数据磁盘，保障日志采集器有足够的运行空间。 E CS 中有用于采集管理的日志采集器的空闲数据盘，此数据磁盘需要和已有的ECS属于同一可用区，且磁盘容量 ≥ 100 GB。 如果参照（可选）步骤一：购买ECS时已购买且配置了数据磁盘，则

查看更多 →

载到ECS，则无需执行此步骤。 场景二：已有符合条件的ECS（未参考（可选）步骤一：购买ECS进行购买），且参考（可选）步骤二：购买数据磁盘购买了符合条件的数据磁盘，购买数据磁盘时已经执行了数据磁盘挂载到 云服务器ECS 的操作，则无需执行此步骤。 操作步骤 如果您已有符合条件的EC

查看更多 →

步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和 对象存储服务 （Object Storage Service，简称OBS） MapReduce服务 （MapReduce Service,简称MRS）、数据仓库服务（Data

查看更多 →