中软国际数据治理专业服务解决方案实践

在 集成工作台 创建一个手动触发流，作为保存子流； 在集成工作台创建api流，接受来自条码应用保存数据的请求； 根据请求中的数据判断是否倒扣料； 如果倒扣料，使用diapi连接器中执行sql的执行动作，查询发料行，构造生产发料请求数据，调用子流创建生产发料；构造生产收货请求数据，调用子流创建生产收货；

查看更多 →

数据格式转换 数据传输格式转换，用于JSON格式与XML格式数据的互转。 连接参数 数据传输格式转换连接器无需认证，无连接参数。 将JSON格式转换为XML格式 输入参数 需要转换的JSON，相关参数说明请参考表1。 表1 JSON格式转换为XML格式输入参数说明 参数 说明 JSON

查看更多 →

数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 源数据包

查看更多 →

数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题： 用户指南（旧版）

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于100G。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收Rosbag格式数据

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于100G。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收Rosbag格式数据

查看更多 →

图数据的格式 一般图数据格式 动态图数据格式 父主题： 元数据操作

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速的完成数据收集以及数据格式转换。 上传数据格式：Rosbag包+与数据包同名的yaml文件，单包上传大小小于100G。 转换后数据格式：OpenData格式（内必含O

查看更多 →

数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 数据批导

查看更多 →

修改数据保存时间 点击存储组上的编辑按钮，可以调整存储组下的所有存储中的数据保存时间。如下图： 随着时间流逝，当存储中的数据时间超出了保存时间，超出保存时间范围内的数据将会被自动清除。 父主题： 存储组

查看更多 →

不能包含空行或者空列。即某一行没有数据，或者某一列没有数据。 数据列数必须与表头列数相同。如：表头有10列数据，非表头数据必须也得有10列。 文件至少包含一列时间序列数据。 系统会自动解析时间数据格式。系统支持的时间格式请参考时间格式。 文件至少包含一列指标数据。系统会自动解析数据格式，将数值类型的数据识别为指标数据。

查看更多 →

操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：

查看更多 →

Id-0000000001”为数据写入的分区id值，请自定义。 record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据，数据格式如record1所示，每写一条数据使用下面的append方法传入records中。

查看更多 →

转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求： 数据类型：包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式：Octopus OpenData格式。其中相机采集数据文件后缀为“

查看更多 →

转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求： 数据类型：包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式：Octopus OpenData格式。其中相机采集数据文件后缀为“

查看更多 →

操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：

查看更多 →

镜像标签数据格式 概念 镜像标签可供给用户对私有镜像进行自定义标记。通过镜像标签，用户可以自由地对私有镜像分类管理。 镜像标签数据格式 tag数据格式： 标签数据规范的格式为“key.value”，新增key为增加标签，否则为修改标签。 当标签数据出现多个小数点时，定义第一个小数

查看更多 →

操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：

查看更多 →

药物数据输入格式说明 药物虚拟筛选平台的输入数据，需要输入蛋白质和配体小分子数据。参考以下数据要求，将数据上传至项目中。 输入蛋白质，pdb格式，将要进行对接的所有靶标蛋白放在一个文件夹内。 输入配体小分子，配体小分子为如下格式的txt文件。 第一列为smiles字符串，第二列为smiles名称，中间用tab键分割。

查看更多 →

转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求： 数据类型：包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式：Octopus OpenData格式。其中相机采集数据文件后缀为“

查看更多 →

数据集格式要求 文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程准备与处理数据集

查看更多 →