中软国际数据治理专业服务解决方案实践

查询结构化日志（即将下线不推荐使用） 功能介绍 该接口用于查询指定日志流下的结构化日志内容。（该接口将于2024年7月30日下线） 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{

查看更多 →

于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

查看更多 →

DSC支持识别的非结构化文件类型？ 数据安全中心（DSC）支持识别的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4

查看更多 →

测量、物联网数据、金融数据和科学实验结果数据的收集监控。 表格存储服务 （CloudTable），是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为 DLI 提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询

查看更多 →

测量、物联网数据、金融数据和科学实验结果数据的收集监控。 表格存储 服务（CloudTable），是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为DLI提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询

查看更多 →

logs = new ArrayList<>(); // 创建结构化日志 StructLog structLog = getStructLog(); // 添加一条结构化日志 logs.add(structLog);

查看更多 →

修改数据同步方式 操作场景 云数据库RDS服务支持切换主备实例的数据同步方式，以满足不同业务需求。可选择 “异步”或者“半同步”两种方式。 异步： 应用更新数据时，主库执行完操作后立即向应用返回响应，通常具有较高的性能。 半同步（默认选择）： 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，对性能有影响。

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value)

查看更多 →

修改数据同步方式 操作场景 云数据库RDS服务支持切换主备实例的数据同步方式，以满足不同业务需求。可选择 “异步”或者“半同步”两种方式。 异步： 应用更新数据时，主库执行完操作后立即向应用返回响应，通常具有较高的性能。 半同步（默认选择）： 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，对性能有影响。

查看更多 →

修改TaurusDB标准版数据同步方式 操作场景 TaurusDB标准版支持切换高可用实例的数据同步方式，以满足不同业务需求。可选择 “半同步”或者“异步”两种方式。 表1 数据同步方式 数据同步方式 说明 半同步（默认） 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，对性能有影响。

查看更多 →

之内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样

查看更多 →

什么是信息抽取 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。 表1 配置方式说明 配置方式 适用范围

查看更多 →

数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增

查看更多 →

数及抽取前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

，指的是主节点和备节点之间的数据同步方法，支持半同步（默认）和异步两种。关注数据安全，请选择半同步，关注性能，请选择异步。 对于主实例和只读实例之间，默认是异步方式，不可以修改同步方式。 父主题： 产品咨询

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据迁移

查看更多 →

数量可同时增加节点的计算资源和数据容量。如果仅需增加节点的数据容量，您可使用增量包灵活扩容对应类型的数据容量。 结构化数据增量包(20GB)：此类型增量包可对节点的结构化数据容量进行扩容。单个结构化数据增量包可提供20GB的结构化数据容量。 文件数据增量包(500GB)：此类型增

查看更多 →

包年/包月 连接器规格单价 * 购买时长 结构化数据增量包 连接器中存储结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 非结构化数据增量包 连接器中存储非结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 计费示例

查看更多 →

功能简介 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成，有如下优势： 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源，具体支

查看更多 →

据自身的业务需求使用KG提供的一系列常用实践。 表1 常用最佳实践 实践 描述 结构化数据创建图谱 本实践指导使用结构化数据（XLSX、 CS V、JSON格式的数据）创建图谱。以与电影有关的结构化数据为例，通过在控制台创建本体、完成信息抽取、知识映射、知识融合、图谱质检的配置，运行

查看更多 →