数据和180天前的数据进行整合，存放在新生成的分区里。 删除分区 保留7天的历史数据，用于数据回溯和脚本重跑 脚本测试（测试阶段可以把参数值换成具体的值进行测试，这里使用参数为了方便以后的作业调度） 测试完成后，单击“保存并提交版本” 按照脚本的命名规则命名，并选择对应的目录，单击“确定”

查看更多 →

打开并保存SQL脚本 打开SQL脚本 执行以下步骤打开SQL脚本： 选择“文件 > 打开”。单击工具栏上的“打开”按钮，或在SQL终端页签单击右键，选择“打开”。 如果SQL终端页签已有SQL脚本，则系统允许用户选择是否进行覆盖或追加至当前SQL脚本后。 弹出“打开”对话框。 在

查看更多 →

标准字段：ext_etl_dt （ETL时间），ext_src_sys_id（源系统标识），dt、ph（分区字段） 表的其他要求：采用ORC存储格式和SNAPPY压缩； 在数管平台的“数据开发”模块，选择 MRS _Spark_Agent数据连接和ods_mes_bc数据库，执行对应的DDL,创建以_f结尾的全量表。

查看更多 →

执行spark sql脚本 概述 对数据集执行spark sql脚本操作。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 sql_string

查看更多 →

Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

元数据按用途的不同，可以分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。在 DataArts Studio 中，技术元数据即为技术资产，显示数据库、数据表、数据量的数量及其详情。

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定公网IP DWS集群运维时间窗检查 父主题： 系统内置预设策略

查看更多 →

创建数据仓库 GaussDB (DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

基于网络隔离、安全组规则以及一系列安全加固项，实现租户隔离和访问权限控制，保护系统和用户的隐私及数据安全。 支持SSL安全网络连接、用户权限管理、密码管理等功能，保证数据库在网络层、管理层、应用层和系统层的安全性。 详细内容请参见设置SSL连接和设置三权分立。 监控与审计 监控集群 GaussDB(DWS)

查看更多 →

数据如何存储到数据仓库服务？ GaussDB(DWS)支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS 对象存储服务 中，再从OBS中导入，支持CSV，TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过Ga

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据导入导出

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

）的采集和分析，及时将维保建议回馈给车主。 优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息， 表格存储 CloudTable中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过 DLI 无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：

查看更多 →

EXIT \q .RETURN \q .LABEL 和 .GOTO Teradata命令.LABEL用于创建标签，通常与.GOTO配对使用。.GOTO会跳过所有中间的BTEQ命令和SQL语句，指导到达指定标签位置，执行相应的恢复处理。 gsql元命令\goto LABEL ... \label

查看更多 →

S) 数据库的应用程序SQL脚本。DSC不需要连接数据库，可在离线模式下实现零停机迁移。在GaussDB(DWS)中通过执行迁移后的SQL脚本即可恢复数据库，从而实现线下数据库轻松上云。 DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。

查看更多 →

数据开发，包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 创建DWS SQL脚本top_active_movie（用于存放最活跃的Top10电影） 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使

查看更多 →

）的采集和分析，及时将维保建议回馈给车主。 优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储CloudTable中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：

查看更多 →

查看和修改脚本信息 本小节主要介绍如何在线查看和修改脚本信息。 约束限制 当脚本大小超过128KB，将不能在线查看脚本内容，可下载脚本文件到本地查看，详情请参见下载脚本。 前提条件 已获取“脚本管理”模块管理权限。 操作步骤 登录云 堡垒机 系统。 选择“运维 > 脚本管理 ”，进入脚本列表页面。

查看更多 →

uses/custom-attributes octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

使用GDS导出：使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。 • 使用gs_dump和gs_dumpall命令导出：支持导出单个数据库及其对象，也支持导出集群中所有数据库和公共全局对象。 发布区域：全部 使用OBS导出数据 使用GDS导出数据 使用gs_dump和gs_dumpall导出

查看更多 →