中软国际数据治理专业服务解决方案实践

配置目标端数据信息 概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端，包括数据源、数据存储信息等。对于不同的数据源类型，其目标端信息配置有所差异。 数据迁移过程中若目标端数据存在主键冲突，则根据主键自动更新数据。

查看更多 →

禁止针对普通列存表进行实时INSERT操作 27 UPDATE/DELETE操作规范 建议3.5 避免并发UPDATE/DELETE行存表的同一行 28 建议3.6 避免对列存表频繁或并发执行UPDATE/DELETE 29 SELECT操作规范 规则3.7 禁止执行不下推的SQL 30

查看更多 →

业务端可以创建一个或者一个以上的数据库实例，与容灾端的数据库实例分别建立容灾关系，数据都能够同步成功，且主数据库和对应辅助数据库的日志备份在大小和时间上一一对应。

查看更多 →

禁止针对普通列存表进行实时INSERT操作 27 UPDATE/DELETE操作规范 建议3.5 避免并发UPDATE/DELETE行存表的同一行 28 建议3.6 避免对列存表频繁或并发执行UPDATE/DELETE 29 SELECT操作规范 规则3.7 禁止执行不下推的SQL 30

查看更多 →

COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署，扩容磁盘时必须扩容计算节点，在实际使用时产生浪费。存算分离是一种数据处理技术，它将数据存储和数据处理（计算）分开，使得存储和计算可以独立地进行优化和扩展，这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。

查看更多 →

端查看考勤组人员每日的出勤情况，也可以点击“报表导出”对每日的出勤情况导出查看。 考勤数据的月统计 考勤应用管理员或者考勤组负责人可以在手机端查看考勤组人员的每月的出勤情况，也可以对每月的出勤情况导出查看，点击导出报表即可。 查看自身的考勤数据统计 参与考勤的人员，都可以在“统计

查看更多 →

创建 GaussDB (DWS)存算分离集群 存算分离集群采用存算分离云原生架构，极致性价比，支持冷热数据分析，存储、计算弹性伸缩，无限算力、无限容量，并按需、按量计价，适用OLAP分析场景。 本章节介绍如何在GaussDB(DWS)管理控制台创建一个存算分离数据仓库集群。 低配置集群，

查看更多 →

MRS 存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统

查看更多 →

数据交换平台管理端 组件说明 交换管理端用于对交换节点的统一管控，包括数据源的新增修改、作业的批量生成、作业的启动停止、作业状态的监控、作业执行情况的监控等。 图1 组件说明 数据库还原 在 MySQL 实例上面创建数据库，数据库名称为 dxp； 从数据交换管理平台部署包中复制出

查看更多 →

端查看考勤组人员每日的出勤情况，也可以点击“报表导出”对每日的出勤情况导出查看。 考勤数据的月统计 考勤应用管理员或者考勤组负责人可以在手机端查看考勤组人员的每月的出勤情况，也可以对每月的出勤情况导出查看，点击导出报表即可。 查看自身的考勤数据统计 参与考勤的人员，都可以在“统计

查看更多 →

写入的数据一般属于热数据，存储在SSD中方便快速被搜索，随着时间的推移，历史数据不再写入，查询QPS也降低，这时候历史数据就算冷数据，通过存算分离将冷数据转储到OBS，热数据依旧存放在SSD中，方便快速搜索。 图1 存算分离 通过存算分离可以实现索引数据的生命周期管理。 热状态的

查看更多 →

Not Collect: schema_test.t2(c1,c2) SQL不下推 对于不下推的SQL，尽可能详细上报导致不下推的原因。调优方法可以参考案例语句下推调优。 对于因函数而导致的不下推，会告警对应的函数名信息。 对于不支持下推的语法，会告警对应语法不支持下推，例如：含有With

查看更多 →

t4(c1,c2) schema_test.t4((c1,c2)) SQL不下推 对于不下推的SQL，尽可能详细上报导致不下推的原因。调优方法可以参考案例语句下推调优。 对于因函数而导致的不下推，会告警对应的函数信息。 对于不支持下推的语法，会告警对应语法不支持下推。 告警信息示例：

查看更多 →

取值范围： 列存分区表：4096~ INT_MAX / 2，最小单位为KB。 默认值：2GB enable_delta_store 参数说明：为了增强列存单条数据导入的性能和解决磁盘冗余问题，可通过此参数选择是否开启支持列存delta表功能。该参数开启时，数据导入列存表，会根据表定义时指定的《开发指南》中“SQL参考

查看更多 →

schema_test.t4(c1,c2) schema_test.t4((c1,c2)) SQL不下推 对于不下推的SQL，尽可能详细上报导致不下推的原因。调优方法请参见语句下推调优。 对于因函数而导致的不下推，会告警对应的函数信息。 对于不支持下推的语法，会告警对应语法不支持下推，例如：含有With

查看更多 →

GaussDB(DWS)列存表的常用信息查询 使用列存表时，一些常用信息查询SQL示例： 先创建列存分区表my_table，并向表中插入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 CREATE TABLE

查看更多 →

型为行存表或列存表。 执行同步语句时，要确保本地集群、远端集群的待同步表已存在。 使用期间，两个集群的状态应为Normal。 两个集群都需要具备基于GDS的跨集群互联互通功能。 建议两端集群的数据库编码保持一致，否则可能出现报错或者收到的数据为乱码。 两端集群所指定的数据库兼容类型要保持一致，否则可能报错或乱码。

查看更多 →

数据仓库类型 产品类型概述 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力，适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离：采用存算分离云原生架构，计算、存储分层弹性

查看更多 →

a表，等到确定接下来没有小批量数据导入了再关闭。 delta表就是列存表附带的行存表，那么将数据插入delta表后将失去列存表的高压缩比等优势，正常情况下使用列存表的场景都是大批量数据导入，所以默认关闭delta表，如果开启delta表做大批量数据导入，反而会额外消耗更多时间和空

查看更多 →

X86 E CS /存算分离EVS dwsx2.8xlarge.dec 32 256 X86 ECS/存算分离EVS dwsx2.16xlarge.dec 64 512 X86 ECS/存算分离EVS dwsk2.2xlarge.dec 8 64 ARM ECS/存算分离EVS dwsk2

查看更多 →

端到端可追溯 产品研发过程越晚发现风险，修复成本就越高、影响越大，有些风险甚至对企业构成致命的打击，Req打通需求过程数据孤岛，将需求开发过程中产生的设计文档、代码、用例、缺陷等有机串联，形成追溯关系网，让风险提前预警、拦截，问题实时可视，保障研发过程高质量。 端到端可追溯效果图如下：

查看更多 →