中软国际数据治理专业服务解决方案实践

结构化数据 上传结构化数据 搜索结构化数据文件

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单 CS V格式的文件， CDM 可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

上传结构化数据 功能介绍 将结构化数据文件上传到 对象存储服务 OBS中进行结构化数据批处理功能。 URI POST /v1/koosearch/repos/{repo_id}/structured-data 表1 路径参数 参数 是否必选 参数类型 描述 repo_id 是 String

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

，在此界面获取"知识库ID"字段的值，表示该知识库在向量数据库中存储的ID，具有唯一性 最小长度：1 最大长度：64 表2 Query参数 参数 是否必选 参数类型 描述 file_name 是 String 结构化数据的文件名 最小长度：1 最大长度：1024 file_status

查看更多 →

特定结构化数据函数 本文介绍特定结构化数据函数的语法规则，包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。

查看更多 →

版本机制，支持保存数据的多个历史版本。 通用海量KeyValue数据存储与查询 应用类型 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 应用场景 支持离线、在线海量KeyValue数据高速写入，并提供低延

查看更多 →

结构化数据创建图谱 数据是 知识图谱 的基础，在 知识图谱服务 创建知识图谱时，需要从对象存储服务（Object Storage Service，简称OBS）导入用于构建知识图谱的基础数据。知识图谱服务支持的数据包括XLSX、CSV、JSON、多行单句文本格式，详情请见数据格式要求，其中

查看更多 →

结构化抽取 信息抽取函数 交互界面配置 代码编辑 父主题： 配置信息抽取

查看更多 →

将日志流中的日志进行结构化，提取出有固定格式或者相似程度较高的日志，过滤掉不相关的日志，以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。

查看更多 →

将日志流中的日志进行结构化，提取出有固定格式或者相似程度较高的日志，过滤掉不相关的日志，以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。

查看更多 →

非结构化数据创建图谱 创建图谱简介 创建信息抽取模型 使用自定义抽取模型创建图谱

查看更多 →

查询结构化配置 功能介绍 该接口用于查询指定日志流下的结构化配置内容。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

HBase集群管理简介 CloudTable集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统，它提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群管理下，用户申请专属集群，按需使用，专属集群是完全物理隔离且不受其他业

查看更多 →

MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）

查看更多 →

数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导

查看更多 →

事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍

查看更多 →

pe”，即可查看到可抽取的主语、谓语、宾语组合。 图2 抽取模型 单击“保存”，完成信息抽取。 如果创建多个数据源，请完成所有数据源的信息抽取配置。配置数据源请参见配置数据源。 后续操作 配置信息抽取后，进入创建图谱的下一步操作配置知识映射。 父主题： 配置信息抽取

查看更多 →

增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍

查看更多 →