中软国际数据治理专业服务解决方案实践

数据湖 的本质，是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构：要有足够的扩展性和可靠性，可以存储海量的任意类型的数据，包括结构化、半结构化和非结构化数据。 数据处理工具，则分为两大类： 第一类工具，聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工

查看更多 →

数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构：要有足够的扩展性和可靠性，可以存储海量的任意类型的数据，包括结构化、半结构化和非结构化数据。 数据处理工具，则分为两大类： 第一类工具，聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工

查看更多 →

设置云端结构化自定义日志时间 当日志接入云日志服务（LTS）时，您可以通过开启“自定义日志时间”开关，将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 在左侧导航栏中选择“日志管理”。 结构化日志以日志流为单位，在“日志管理”页面选择目标日志组和日志流。 单击日志流名

查看更多 →

查询结构化日志（即将下线不推荐使用） 功能介绍 该接口用于查询指定日志流下的结构化日志内容。（该接口将于2024年7月30日下线） 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{

查看更多 →

设置云端结构化自定义日志时间 当日志接入云日志服务（LTS）时，您可以通过开启“自定义日志时间”开关，将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 在左侧导航栏中选择“日志管理”。 结构化日志以日志流为单位，在“日志管理”页面选择目标日志组和日志流。 单击日志流名

查看更多 →

DSC支持解析的非结构化文件类型？ 数据安全中心（DSC）支持解析的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4

查看更多 →

修改数据同步方式 操作场景 云数据库RDS服务支持切换主备实例的数据同步方式，以满足不同业务需求。可选择 “异步”或者“半同步”两种方式。 异步： 应用更新数据时，主库执行完操作后立即向应用返回响应，通常具有较高的性能。 半同步（默认选择）： 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，对性能有影响。

查看更多 →

修改数据同步方式 操作场景 云数据库RDS服务支持切换主备实例的数据同步方式，以满足不同业务需求。可选择 “异步”或者“半同步”两种方式。 异步： 应用更新数据时，主库执行完操作后立即向应用返回响应，通常具有较高的性能。 半同步（默认选择）： 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，对性能有影响。

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据导入导出

查看更多 →

之内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样

查看更多 →

什么是信息抽取 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。 表1 配置方式说明 配置方式 适用范围

查看更多 →

算分离大数据分析。 基本内容如下所示： 创建 MRS 离线查询集群 创建OBS委托并绑定至MRS集群 创建Hive表并加载OBS中数据 基于HQL对数据进行分析 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分

查看更多 →

数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增

查看更多 →

数及抽取前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

包年/包月 连接器规格单价 * 购买时长 结构化数据增量包 连接器中存储结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 非结构化数据增量包 连接器中存储非结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 计费示例

查看更多 →

物理实体支持哪些数据源？ 逻辑实体分为两类，结构化实体（实体类型为表）和非结构化实体（实体类型为图片、视频、音频、文本等）。 其中，结构化实体支持ES、DWS和OBS三种数据源；非结构化实体支持OBS数据源。 如果用户无HIVE和HDFS数据源，则该数据源不开放。 父主题： 数据建模

查看更多 →

数量可同时增加节点的计算资源和数据容量。如果仅需增加节点的数据容量，您可使用增量包灵活扩容对应类型的数据容量。 结构化数据增量包(20GB)：此类型增量包可对节点的结构化数据容量进行扩容。单个结构化数据增量包可提供20GB的结构化数据容量。 文件数据增量包(500GB)：此类型增

查看更多 →

据自身的业务需求使用KG提供的一系列常用实践。 表1 常用最佳实践 实践 描述 结构化数据创建图谱 本实践指导使用结构化数据（XLSX、 CS V、JSON格式的数据）创建图谱。以与电影有关的结构化数据为例，通过在控制台创建本体、完成信息抽取、知识映射、知识融合、图谱质检的配置，运行

查看更多 →

功能简介 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成，有如下优势： 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源，具体支

查看更多 →

应用场景 敏感数据自动识别分类 从海量数据中自动发现并分析敏感数据使用情况，基于数据识别引擎，对其储存结构化数据（RDS）和非结构化数据（OBS）进行扫描、分类、分级，解决数据“盲点”，以此做进一步安全防护。 用户异常行为分析 通过深度行为识别引擎，建立用户行为基线，实现基线外异

查看更多 →

RDS界面上展示的数据同步方式，指的是主实例和备实例之间的数据同步方法，支持半同步（默认）和异步两种。关注数据安全，请选择半同步，关注性能，请选择异步。 对于主实例和只读实例之间，默认是异步方式，不可以修改同步方式。 针对PostgreSQL引擎： 主实例和备实例之间的数据同步方法，支持异步（默认）和同步两种：

查看更多 →