中软国际数据治理专业服务解决方案实践

配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3

查看更多 →

照流类型的不同进行确定。 缺省值：application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Su

查看更多 →

使用数据工程构建预测大模型数据集 预测大模型支持接入的数据集类型 盘古预测大模型仅支持接入预测类数据集，不同模型所需数据见表1，该数据集格式要求请参见预测类数据集格式要求。 表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集内容 文件格式 预测大模型 时序预测模型 时序数据

查看更多 →

单击目标采集通道操作列的“重启”，重启采集通道。 图8 重启采集通道 检查采集通道和采集节点状态。 重启完成后，在“采集通道管理”页面中，检查目标采集通道的健康状态。 图9 采集通道健康状态 在上方选择“采集节点管理”页签，页面，检查目标采集节点的健康状态。 图10 采集节点健康状态

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求

查看更多 →

小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

DLI 如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

id; 当客户的名字、性别、邮件都相同时，则判定它们为重复的记录。对于表t_customer，id等于1、3、6的为重复数据，id为2、5的也是重复数据，删除多余的数据的同时需要保留其中的一条。 方法一：使用聚合函数min(expr) 使用聚合函数通过子查询取出id最小的不重复行，然后通过NOT

查看更多 →

获取大屏指定组件数据 功能介绍 获取大屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目ID。

查看更多 →

子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

删除采集任务（数据节点，console页面） 功能介绍 删除采集任务。 URI URI格式 DELETE /softcomai/datalake/collection/v1.0/task/{taskId}/{deleteFilesFlag}（数据面） POST /softcoma

查看更多 →

如何创建数据库和数据表，数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表，数据库与数据连接的关系不清楚，需要具体解释下，便于用户理解。 解决方案 数据库和数据表可以在 DataArts Studio 服务中创建。 数据库对应的不是数据连接，数据连接是创建DataArts

查看更多 →

小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

若项目与租户级围栏都不存在，任务或检查单可直接做采集 图5.1-1 采集围栏配置界面 输入项 规则说明 按项目 说明1：选择需要维护电子围栏的项目编码，电子围栏是按项目维度维护的，同一个项目只能维护一个电子围栏；若项目为空，生成的电子围栏为租户级围栏 是否强制围栏 配置是否强制电

查看更多 →

如何进行信息采集 问题描述 如何进行信息采集？ 解决方法 选择“监控 > 诊断中心”。 单击“信息采集”。 选择“基本采集”或“扩展采集”。 基本采集：采集设备当前的时钟信息、版本信息、配置信息等基本信息内容。 扩展采集：对基本采集的扩展，主要是基于IP地址的会话表、Server

查看更多 →

停止采集任务(数据节点console页面) 功能介绍 停止采集任务。 URI URI格式 POST /softcomai/datalake/collection/v1.0/task/stop/{taskId} 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

启动采集任务（数据节点，console页面） 功能介绍 启动采集任务。 URI URI格式 POST /softcomai/datalake/collection/v1.0/task/start/{taskId} 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String

查看更多 →

集成ModuleSDK进行数据采集 场景说明 代码解析 注册节点 设备建模&发放 项目打包 制作镜像包或插件包 添加应用 部署应用 OT数采配置 查看采集结果 父主题： 集成ModuleSDK(C#)

查看更多 →

config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf,failed_tables

查看更多 →

config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf,failed_tables

查看更多 →