和导出。 表1 环境变量列表 序号 变量名 变量配置 1 ETL_TODAY #{DateUtil.format（DateUtil.addDays（Job.planTime,0）,"yyyy-MM-dd"）} 2 ETL_YESTERDAY #{DateUtil.format（DateUtil

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，用户密

查看更多 →

单击编辑，可以针对账户信息进行修改，也可以将账户进行另存为和删除的操作。 智能ETL 数据中心智能ETL，左上角搜索区，可以依据关键字快速查找所需ETL，也可以根据运行状态进行筛选。右上角可以新建文件夹和ETL。 图15 智能ET ETL列表内展示ETL的名称、输入/输出、最近更新时间、上次运行时长及其他

查看更多 →

数据仓库服务 GaussDB (DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS

查看更多 →

间和人力可参考《数据仓库优化与支持服务工时基线模板》，必要时根据客户实际业务进行调整。 数据仓库规模较大的大型企业，300U-700U（仅供参考，以客户实际业务为准），需要更全面的数据仓库开发和维护支持，包括架构设计、ETL开发、数据分析，报表开发等。 数据仓库开发支持服务-铂金版

查看更多 →

迁移后语法 1 2 3 4 5 SELECT t1.etl_date, substr(t1.attribute,1,1) attribute , t1.cust_no, t1.branch_code FROM ( SELECT etl_date,attribute,cust_no

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以ro

查看更多 →

开放平台灵活操作：OpenAPI 灵活进行能力扩展，更好地与客户业务系统协作 技术架构 图2 部署架构图 方案通过华为云 MapReduce服务 MRS、云数据仓库GaussDB(DWS)实现大数据集群的管理、提供神策通用数据的接入和加工，同时通过 MapReduce服务 MRS 的数据应用和机器学习应用补充神策平台的算法和 数据可视化 能力；

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

PC端操作指南 简单任务管理 项目立项与变更 项目成员管理 项目任务管理 工具箱管理 项目设置 父主题： 任务协同

查看更多 →

管理草稿 操作步骤 在数据服务左侧导航，选择“工具箱>数据准备>我的草稿”页签。 查看或编辑工程：在对应的“工程名称”列下，单击工程名称。 删除工程：在对应的“操作”列下，单击。 父主题： 数据准备

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

Hudi进行DWI层建模的目的是在ETL映射中需要使用，即，将SDI层的某个表映射至DWI层。 ETL映射 根据业务场景需要，可将数据从源端数据中进行移动和转换到指定的目标数据表中。如，本实践中需要将SDI层的门店表映射至DWI层的门店表。 图26 新建ETL映射 表2 ETL映射参数说明 参数

查看更多 →

管理模板 配置“选择数据”时，如果将页面的配置保存为模板，则可以在“模板管理”界面管理保存的模板。 操作步骤 在数据服务左侧导航，选择“工具箱>数据标注>时序数据标注”。 选择“模板管理”页签。 查看模板详情：在对应的模板对应“操作”列下，单击。 删除模板：在需要删除的模板对应的“操作”列下，单击。

查看更多 →

管理模板 在管理模板界面，可以使用和删除模板。 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据探索”。 选择“模板管理”页签。 使用模板：在对应的“操作”列下，单击。 删除模板： 在需要删除的模板对应的“操作”列下，单击。 勾选需要删除的模板前面的复选框，在列表左上角单击“批量删除”。

查看更多 →

在Dism++中，将已安装VMTools驱动的ISO文件导出至本地，即另存为iso格式。 按下图1、2、3、4、5顺序进行操作。 1：单击“工具箱”。 2：选择“ISO生成器”，弹出对话框。 3：选择原始ISO解压后的路径。 4：选择新生成ISO的路径。 5：单击“确定”，等待合成结束。

查看更多 →

Cust_Id ,Cust_UID ,DW_Upd_Dt ,DW_Upd_Tm ,DW_Job_Seq ,DW_Etl_Dt ) select a.Cust_Id ,a.Cust_UID ,current_date as Dw_Upd_Dt

查看更多 →

型要求：大数据处理端到端流程在7个步骤以内。仅作为样板，不作生产使用。 场景范围包括：1）数据入湖集成设计与实施；2）数据仓库建设：数据分析作业设计，数据ETL开发，数据脚本开发实施；3） 数据治理 平台建设：数据架构/模型/指标/标准/质量规则设计和实施；4）数据应用验证与实施。 服务规格

查看更多 →

待标注数据文件格式要求？ 关于待标注数据文件格式要求，请参考《数据资产管理服务用户指南》中“工具箱 > 时序数据标注 > 待标注文件及数据配置 > 数据格式要求”章节的“文件格式基本要求”和“待标注指标数据文件格式要求”描述内容。 父主题： 数据标注

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型

查看更多 →