中软国际数据治理专业服务解决方案实践

在lts页面根据日志组和日志流的ID来进入日志流，如图6。 图6 进入日志流 在日志流页面添加结构化配置，单击右上角的齿轮进行配置，如图7。 图7 日志流页面添加结构化配置 设置结构化配置，如图8。 图8 结构化配置 单击智能提取生成字段，如图9。 图9 智能提取字段 修改字段定义，单击进行修改，其中各字段介绍如下：

查看更多 →

修改结构化配置（不推荐） 功能介绍 该接口用于修改指定日志流下的结构化配置，由于参数较多且构建复杂，建议您使用8.9.2-修改结构化配置（推荐）。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

设置云端结构化字段 使用限制 结构化字段最大长度为16KB，超过部分会被截断。 设置结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，具体设置规则如下表。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

什么是字段抽取函数 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 在通过普通抽取方式进行信息抽取时，即用交互界面配置或用格式化编辑进行信息抽取时，需要配置字段抽取函数。配置

查看更多 →

务量？ 部署在公有云上，适用的节点类型为“基础版 数据建模引擎 节点”，单节点提供如下固定规格： 应用运行4U8G*2 结构化数据存储200G 非结构化存储500G 基线数据存储20G 网络带宽2Mbit/s 单个“基础版 数据建模引擎 节点”支持约200个用户，同时访问页面或调

查看更多 →

水印管理 加水印操作 在数据服务首页左侧导航，选择“首页>我的数据集”。 在“我的数据集”页签单击新增的数据集。 单击“应用数据集 > 安全管理 > 水印管理”进入“水印管理”界面。 “请选择管理模式”选择“加水印”。 “水印算法”选择“结构化数据水印算法”或“数值型水印算法”。

查看更多 →

过在一定时间段内，统计日志中关键字出现的次数，实时监控服务运行状态。 SQL告警：支持将日志数据进行结构化，通过配置SQL告警规则，定时查询结构化数据，当且仅当条件表达式返回为true的时候，将告警进行上报，用户可以在LTS控制台查看SQL告警。 关键词告警 SQL告警 日志资源使用量预警

查看更多 →

表头要保持一致。算法取第一行数据作为样例数据,判断数据的类型,请确保第一行数据准确,并具有代表性。 表头行数 待加水印文件的表头部分（非实际数据）所占行数。 表头所在行数不得超过数据起始行数；当表头所在行数为0时，表示没有表头这一行。 加水印列 当“水印算法”为“结构化数据水印算法”时，为必选项。

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

日志搜索 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value) 目前此功能在邀测中，暂不支持申请开通。

查看更多 →

数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。

查看更多 →

NGINX结构化模板字段介绍 介绍NGINX接入日志结构化模板详情。 结构化模板日志详情 NGINX日志示例 表1 结构化模板示例 模板名称 示例日志 NGINX 192.168.1.101 - [27/Aug/2018:14:20:29 +0800] "GET http://www

查看更多 →

TOMCAT结构化模板字段介绍 介绍TOMCAT接入日志结构化模板详情。 结构化模板日志详情 TOMCAT日志示例 表1 结构化模板示例 模板名称 示例日志 TOMCAT 192.168.12.2 - - [07/Mar/2018:09:49:55 +0800] "GET /logHello/test

查看更多 →

视频智能分析服务使用统一身份认证（Identity and Access Management，简称IAM）服务实现认证和鉴权功能。 数据接入服务 视频智能分析服务将检测结果结构化数据输出到数据接入服务（Data Ingestion Service，简称DIS）。 智能边缘平台 视频智能分析服务可以下发

查看更多 →

下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限，而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。 接入ORACLE数据源 接入MYSQL数据源 接入DWS数据源 接入FTP数据源 接入OBS数据源

查看更多 →

数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。

查看更多 →

内置应用说明 名称 描述 操作类型 数据库下载 该类应用允许用户下载结构化数据如 CS V和JDBC类型的数据。 下载：用户可使用该应用下载数据到数据库。 数据库预览 该类应用允许用户查看结构化数据如CSV和JDBC类型的数据。 查看：用户可使用该应用预览查看数据库数据。 PDF查看 该类应用允许用户预览查看PDF文件，仅供测试。

查看更多 →

率。 一键式部署，快速输出高精度结构化数据。 工作流流程 在“ ModelArts Pro > 文字识别 套件”控制台选择“通用单模板分类工作流”新建应用，详细操作请见新建应用。您可以创建单模板服务，通过模板训练文字识别模型，实现单模板图像的文字信息结构化提取。 图1 创建单模板流程 表1

查看更多 →

务效率。 一键式部署，快速输出高精度结构化数据。 工作流流程 在“文字识别控制台>自定义OCR”页面选择“通用单模板工作流”创建应用，详细操作请见6.2 新建应用。您可以创建单模板服务，通过模板配置文字识别模型，实现单模板图像的文字信息结构化提取。 图1 创建单模板流程 表1 创建单模板流程说明

查看更多 →

如何上传数据至OBS？ 提示“上传的AK/SK不可用”，如何解决？ 使用ModelArts时提示“权限不足”，如何解决？ 如何用ModelArts训练基于结构化数据的模型？ 什么是区域、可用区？ 在ModelArts中如何查看OBS目录下的所有文件？ ModelArts数据集保存到容器的哪里？

查看更多 →