读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小，以更新数据为主，新增较少，表数据量比较稳定，且读取时通常需要全量读取做join之类的ETL计算，因此通常使用非分区表性能更好。

查看更多 →

通过配置相应的调研规则，对待集成的源端系统数据进行调研，方便用户快速获取到要进行数据实施的源系统数据结构。 ETL Mapping脚本自动生成 将方案设计中“ETL映射设计”部分形成的ETL脚本同步到 DataArts Studio 作业指定的目录。 数据入湖作业自动生成 对于调研到的数据，可

查看更多 →

组添加一个或多个子用户组；可以单击移动用户组，将该用户组移至其他用户组下，变成一个子用户；单击转移将该组拥有的资源(卡片、页面、数据集、ETL、数据账户)转移给别的组，转移后该组不再允许对所拥有的资源进行编辑操作。还可以删除用户组，如下图所示： 图2 用户组管理 父主题： 实施步骤

查看更多 →

读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小，以更新数据为主，新增较少，表数据量比较稳定，且读取时通常需要全量读取做join之类的ETL计算，因此通常使用非分区表性能更好。

查看更多 →

NOT IN ( 'ETL_JOB_NAME' ,'ETL_TX_DATE' ,

查看更多 →

落地。 部署架构 图2 部署架构 通过集成DWS服务，实现观远智能数据分析软件的数据处理功能（智能ETL），可通过拖拉拽形式完成数据的清洗、处理。从数据贴源、关联整合，到基于ETL的清洗、聚合、去重，再到数据逻辑的设计，生成ADS表，为数据分析的整体链路提供了便捷的0代码操作路径

查看更多 →

--堆内存 --conf spark.executor.memoryOverhead=1024 --堆外内存 基于Spark进行ETL计算，CPU核心 ：内存比例建议>1:2，推荐1：4~1：8 上一个规则是指纯读写的资源配比，如果Spark的作业除了读写还有业务逻辑计算

查看更多 →

EIP，用于提供 服务器 访问公网和被公网访问能力。 创建安全组，通过配置安全组规则，为 弹性云服务器 提供安全防护。 方案优势 一体化数据建模能力 支持跨不同数据查询整合，与分布式ETL一体化。提供敏捷建模、智能计算，全面支撑各种数据准备需求。 多款展示工具 符合操作习惯的Web/Excel电子表格、分析报告、大屏设计器。

查看更多 →

架构设计、方案验证、交付项目、在维项目、知识库等。 数据模型资产：解决方案信息架构共享，包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。 图1 解决方案加速场入口 父主题： 解决方案加速场

查看更多 →

Migration，简称 CDM ）和 数据治理中心 （DataArts Studio）一起使用，CDM用于批量数据迁移，DataArts Studio可以对整个ETL过程进行编排调度，同时提供可视化的开发环境。 图1 数据迁移示意图 CDM、OBS、 MRS 、 DLI 为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。

查看更多 →

据、 数据仓库 、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

查看更多 →

数据应用集成设计与实施：基于部署架构、网络架构，完成数据应用（如BI、自助分析平台、数据服务API等）的设计与集成实施。 数据使能方案实施：基于方案设计，完成物理模型、ETL脚本、数据质量作业、流水线调度作业、数据服务的开发工作。 本实践的整体实施流程将围绕上述7个模块展开，以某零售客户场景为例，聚焦水平流程。

查看更多 →

Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandr

查看更多 →

必填。对资产的详细描述。 脱敏规则配置 用于将所发布信息架构中敏感信息脱敏处理，例如，将信息架构设计中的人名脱敏。支持将主题设计、逻辑模型、物理模型、ETL映射和业务指标设计一键应用脱敏规则。 脱敏规格限制：应用字段关联的规则数量超过最多不超过10条，总规则数量不超过50条。 图4 脱敏规则配置

查看更多 →

，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。 灵活的数据存储格式，支持JSON、 CS V、TEXTFILE、RCFILE、ORCFILE、SEQ

查看更多 →

请求失败时的错误信息，请求成功时无此字段。 error_code String 请求失败时的错误码，请求成功时无此字段。 create_time Long 作业的创建时间。 etl_uuid String 候选集ID。 示例 请求示例 { "job_name": "update_schema", "job_description":

查看更多 →

填写信息架构名称，选择无模板后单击【确定】。 图2 创建信息架构 创建完成后，该空白信息架构模板包含空白的主题设计、逻辑模型设计、物理模型设计、ETL映射设计、业务指标设计和配置管理，您可以在此基础上进行设计。 图3 空白信息架构模板 创建信息架构—资产模板 解决方案工作台解决方案加速场

查看更多 →

PACKAGE BODY IC_STAGE.pkg_etl AS PROCEDURE clear_temp_tables IS BEGIN NULL; END clear_temp_tables; END pkg_etl; / CREATE OR REPLACE PACKAGE

查看更多 →

读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小，以更新数据为主，新增较少，表数据量比较稳定，且读取时通常需要全量读取做join之类的ETL计算，因此通常使用非分区表性能更好。

查看更多 →

针对即时的分析需求，分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O（Online

查看更多 →

云搜索服务可用于全场景日志分析，包括ELB日志、服务器日志、容器和应用日志。其中Kafka作为消息缓冲队列，用于削峰填谷，Logstash负责数据ETL，Elasticsearch负责数据检索与分析，最后由Kibana以可视化的方式呈现给用户。 性价比高：采用鲲鹏算力、冷热分离、存算分离，成本同比降低30%+。

查看更多 →