中软国际数据治理专业服务解决方案实践

将日志流中的日志进行结构化，提取出有固定格式或者相似程度较高的日志，过滤掉不相关的日志，以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。

查看更多 →

删除结构化配置 功能介绍 该接口用于删除指定日志流下的结构化配置。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

云端结构化配置 创建结构化配置（推荐） 修改结构化配置（推荐） 删除结构化配置 查询结构化配置 查询结构化模板简略列表 查询结构化模板 创建结构化配置（不推荐） 修改结构化配置（不推荐） 父主题： API说明

查看更多 →

一个工作空间，提供多种工作负载，包含SQL、基于Ray的数据工程、模型推理。 基于LakeFormation统一管理结构化、半结构化、非结构化数据，数智开发全流程，一份元数据和一份权限控制。 数据+AI共享一份数据，客户无需进行数据复制。 开箱即用，资源弹性，按需使用 预置开源主流三

查看更多 →

合。 图2 抽取模型 单击“保存”，完成信息抽取。 如果创建多个数据源，请完成所有数据源的信息抽取配置。配置数据源请参见配置数据源。 后续操作 配置信息抽取后，进入创建图谱的下一步操作配置知识映射。 父主题： 配置信息抽取

查看更多 →

创建结构化配置（推荐） 功能介绍 该接口通过结构化模板创建结构化配置，便于参数提取且简化参数结构，推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（ CDM 作业）

查看更多 →

数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导

查看更多 →

如何使用已安装应用 应用开发完编译发布成应用包后，可以在开发环境、沙箱环境和运行环境中安装使用，本节将为您介绍如何使用已安装应用。 如何查看已安装应用类型 使用已安装应用前，需要先了解已安装应用的两种类型。 当前版本，仅支持更新应用版本，不支持回退版本，只能重新安装。 源码包，一般用于二次开发或应用代码归档。

查看更多 →

Windows IIS如何安装JavaAgent 前提条件 部署APM Agent时，必须确保接入APM的机器与APM服务网络连通，Agent才能正常工作。 可使用Telnet命令测试目标机器与APM 服务器 网络是否连通。 例如，以检查华北-北京四区域，且接入方式选择“增强型探针”

查看更多 →

根据页面的运行安装命令进行手动安装UniAgent。 图3 “手动安装UniAgent”页面 UniAgent安装完成后，单击 “返回自动安装”。 单击“设置安装机”，设置刚才完成UniAgent安装的机器为安装机。 图4 设置安装机 在弹框中填写设置安装机相关信息，单击“确认”。 图5 确定安装机

查看更多 →

数据层服务安装 数据层服务安装全部使用普通用户，执行：su - dce 上传dce-control-plane-data-svcs-x.y.m.n.tar.gz安装包到/home/dce 解压 tar -zxvf dce-control-plane-data-svcs-x.y.m

查看更多 →

Windows系统如何安装virtio？ 本章节适用于虚拟化类型为KVM架构的 云服务器 。 使用 弹性云服务器 或者外部镜像文件创建私有镜像时，必须确保操作系统中已安装virtio，使新发放的云服务器支持KVM虚拟化，同时也可以提升云服务器的网络性能。 具体操作步骤详见安装virtio驱动。

查看更多 →

如何收集驱动安装信息 收集驱动安装信息的方法如下： 登录弹性云服务器。 执行以下命令，检查是否禁用了nouveau驱动。 lsmod | grep nouveau 如果是驱动安装失败类问题，收集/var/log/nvidia-installer.log 驱动安装日志，并转储日志信息。

查看更多 →

时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍

查看更多 →

查询结构化模板 功能介绍 该接口用于查询结构化模板。 说明： 单个用户每秒最多可调用50次该接口。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/lts/struct/customtemplate 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍

查看更多 →

数据层服务安装 数据层服务安装全部使用普通用户，执行： su - dpe 上传dpe-control-plane-data-svcs-x.y.m.n.tar.gz安装包到/home/dpe 解压 tar -zxvf dpe-control-plane-data-svcs-x.y.m

查看更多 →

修改结构化配置（推荐） 功能介绍 该接口通过结构化模板修改结构化配置 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

os认证提供用户和用户组数据保存能力。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言

查看更多 →

持消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据存储。 利用 DLI ，用户可方便地将海量数据高速、低时延写入HBase。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

查看更多 →