中软国际数据治理专业服务解决方案实践

应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云 MRS 服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran

查看更多 →

digits=0，可能会造成同一条数据在JDBC显示和gsql显示的精度不同。 M-Compatibility模式数据库下，extra_float_digits的默认值为0。 对于精度敏感的场景，建议使用numeric类型。 通过JDBC连接数据库时，应该保证以下三个时区设置一致：

查看更多 →

protection参数表示数据可通过以下任一方式在节点间进行传输。 privacy：指数据在鉴权及加密后再传输。这种方式会降低性能。 authentication：指数据在鉴权后直接传输，不加密。这种方式能保证性能但存在安全风险。 integrity：指数据直接传输，即不加密也不鉴权。

查看更多 →

使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client

查看更多 →

digits=0，可能会导致同一条数据在JDBC显示和gsql显示的精度不同。 M-Compatibility模式数据库下，extra_float_digits的默认值为0。 对于精度敏感的场景，建议使用numeric类型。 通过JDBC连接数据库时，应该保证以下三个时区设置一致：

查看更多 →

当应用部署在公有云上，云平台需提供已开通资源的监控能力，包括计算、存储、网络、数据库等云服务资源。资源监控指标反馈资源的运行状态、资源消耗和性能参数等，运维人员可根据不同参数配置相应的阈值告警，当资源异常时通过短信或邮件等方式通知。除了开箱即用的指标数据以外，部分云服务提供完整的日志采集、上报和存储能力，

查看更多 →

这些参数可能会导致JDBC客户端的行为与gsql客户端的行为不一致，例如，Date数据显示方式、浮点数精度表示、timezone显示。 如果实际期望和这些配置不符，建议在java连接设置代码中显式设定这些参数。 【建议】通过JDBC连接数据库时，应该保证下面两个时区设置一致： JDBC客户端所在主机的时区。

查看更多 →

可能会造成同一条数据在JDBC显示和gsql显示的精度不同。 对于精度敏感的场景，建议使用numeric类型。 通过JDBC连接数据库时，应该保证以下三个时区设置一致： JDBC客户端所在主机的时区。 GaussDB 数据库实例所在主机的时区。 GaussDB数据库实例配置过程中时区。

查看更多 →

这些参数可能会导致JDBC客户端的行为与gsql客户端的行为不一致，例如，Date数据显示方式、浮点数精度表示、timezone显示。 如果实际期望和这些配置不符，建议在java连接设置代码中显式设定这些参数。 【建议】通过JDBC连接数据库时，会设置extra_float_digits=3，gsql

查看更多 →

大数据数据迁移 数据迁移失败，提示超过 DLI 网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明

查看更多 →

这些参数可能会导致JDBC客户端的行为与gsql客户端的行为不一致，例如，Date数据显示方式、浮点数精度表示、timezone显示。 如果实际期望和这些配置不符，建议在java连接设置代码中显式设定这些参数。 通过JDBC连接数据库时，会设置extra_float_digits=3，gsql中设

查看更多 →

、Redis、MySQL、OBS等，由运维人员分配资源； 数据层包括数据存储服务和大数据处理平台，数据通过ETL工具、数据调度工具等大数据处理平台组件处理后进行存储； 平台对外以SDK/API的方式提供引擎服务能力和数据服务能力； Portal和运管平台提供资源管控、系统运维能力；

查看更多 →

从HDFS/OBS中导出数据到关系型数据库 从HBase中导出数据到S FTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP 服务器 从Phoenix表导出数据到关系型数据库 从Hive中导出数据到SFTP服务器 从Hive中导出数据到关系数据库 从同一集群内HBase导出数据到HDFS/OBS

查看更多 →

AutoPreRank，智能ETL参数生成作业 ETL，离线特征工程作业 LR，LR作业 DEEPFM，DEEPFM作业 AutoGroup，AutoGroup作业 StreamRank，在线训练作业 DataStruct，识别数据结构作业 DataExploration，数据探索作业 DataImport，离线数据导入作业

查看更多 →

数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出，如有涉及，请您进行手动配置同步。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。

查看更多 →

读取数据库数据 操作场景 本文指导您在应用设计态读取数据库数据。 前提条件 已登录应用设计态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 反向建模”，进入反向建模页面。 找到需要操作的数据源，单击。 单个数据源最多只能读取1000个物理表的数据库数据。 图1 读取数据 在弹出的提示框中，单击“确定”。

查看更多 →

数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能，详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务，数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据，并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。

查看更多 →

更新数据库数据 操作场景 本文指导您在应用设计态更新数据库数据。 前提条件 已登录应用设计态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 反向建模”，进入反向建模页面。 找到需要操作的数据源，单击。 单个数据源最多只能更新1000个物理表的数据库数据。 图1 更新数据 在弹出的提示框中，单击“确定”。

查看更多 →

数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据，但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数

查看更多 →

数据控制与数据审计 数据保护策略 项目内的数据支持精细化的权限控制，可对数据分享、下载、删除进行设置。您可以在项目的“设置”页面设置数据权限。数据权限仅可以有项目所有者设置。 分享：关闭分享后，项目内数据不允许分享给其他项目，包括拷贝、引用两种方式。 下载：关闭下载后，项目内数据不允许下载至本地。

查看更多 →