管道作业管理 新建管道作业 获取管道作业列表 获取管道作业详情 更新管道作业 删除管道作业 启动管道作业 停止管道作业 父主题： API列表

查看更多 →

调试数据管道 调试概述 界面介绍 操作指导 数据模板 父主题： 数据管道

查看更多 →

创建数据管道 使用IoTDA数据源 使用DIS数据源 其他数据源的使用 父主题： 数据管道

查看更多 →

、IOTDA_API类型。管道作业详细配置，每个作业可选择不同的算子进行组合，各算子的使用方法详见：数据管道算子使用指南。 pipeline_info PipelineJobInfoDto object 管道作业基础信息，包括：管道ID、管道名称、管道类型等。 表4 PipelineJobInfoDto

查看更多 →

数据空间ID 当前管道所属数据空间的ID。 管道名称 当前管道的名称。 管道ID 当前管道的ID。 Shard数 管道的Shard数。 生命周期 管道内数据保存周期。 创建时间 管道的创建时间。 描述 管道的描述信息。 父主题： 管理管道

查看更多 →

管道作业常见问题 数据管道作业已保存成功为什么无法启动？ 为什么有些作业启动时需要选择计算资源但有些作业不需要？ 为什么无法添加产品过滤算子？ 父主题： 数据分析常见问题

查看更多 →

ID。Alert rule ID. 最小长度：36 最大长度：36 pipe_id String 数据管道 ID。Pipe ID. 最小长度：36 最大长度：36 pipe_name String 数据管道名称。Pipe name. 最小长度：5 最大长度：63 create_by String

查看更多 →

该参数的设置是为了避免人为或程序自身问题造成管道文件的一端长时间不读取或者不写入，导致管道另一端的读取或写入操作hang住。 该参数表示的超时时间不是指GDS一个导入导出任务的最长时间，而是GDS对管道文件的每一次read/open/write的最大超时时间，当超过--pipe-timeout参数设置时间会向前端报错。

查看更多 →

ID。Alert rule ID. 最小长度：36 最大长度：36 pipe_id String 数据管道 ID。Pipe ID. 最小长度：36 最大长度：36 pipe_name String 数据管道名称。Pipe name. 最小长度：5 最大长度：63 create_by String

查看更多 →

Kafka、云脑管道 Pipe 新增数据源连接目的。 选择“目的”页签中，选择数据源类型的目的，并根据选择的类型进行参数配置。 数据源类型目的支持以下类型：文件 File、传输控制协议 Tcp、用户数据协议 Udp、消息队列 Kafka、对象存储 Obs、云脑管道 Pipe 设置完成后，单击页面右下角“确认”。

查看更多 →

secmaster:pipe:list 授予权限查询数据管道列表。 list pipe * - secmaster:pipe:create 授予权限创建数据管道。 write pipe * - secmaster:pipe:get 授予权限查询数据管道详情。 read pipe * - s

查看更多 →

运行数据管道 运行数据管道 运行过程监控与数据跟踪（敬请期待） 父主题： 数据管道

查看更多 →

运行数据管道 数据管道编辑完成后，若存在错误，作业状态会变成”草稿”态，请检查作业配置；若不存在错误，作业状态会变为“就绪“态，表示该作业可以运行，如图所示： “就绪”态的作业即可运行：在“管理列表页”点击作业卡片，进入“作业详情页”，然后点击右上角的红色按钮“启动作业“。 启动

查看更多 →

PipelineJobInfoDto objects 管道列表 表5 PipelineJobInfoDto 参数 参数类型 描述 pipeline_id String 管道ID 最小长度：1 最大长度：100 pipeline_name String 管道名称 最小长度：1 最大长度：64 data_source_id

查看更多 →

IAM api. 最小长度：1 最大长度：2097152 表3 请求Body参数 参数 是否必选 参数类型 描述 pipe_id 是 String 数据管道 ID。Pipe ID. 最小长度：36 最大长度：36 query 是 String 查询语句。Query. 最小长度：1 最大长度：1024

查看更多 →

数据管道相关错误码 IoTA.03011001 作业定义错误 IoTA.03011002 作业名称错误 IoTA.03011003 作业描述错误 IoTA.03011006 作业名已存在 IoTA.03011007 作业数量超出限制 IoTA.03011011 作业配置无法正常解析，请检查是否为JSON格式

查看更多 →

选择“目的”页签中，选择数据源类型的目的“云脑管道 Pipe”，并配置管道信息。 图12 数据源接入目的地 表2 数据源接入的目的地 参数名称 参数说明 名称 自定义数据源目的名称。 描述 自定义数据源目的描述信息。 类型 此处选择“租户”。 管道 选择步骤五：（可选）新增管道创建的管道名称。 域账户 输入IAM域账号。

查看更多 →

ID。Alert rule ID. 最小长度：36 最大长度：36 pipe_id String 数据管道 ID。Pipe ID. 最小长度：36 最大长度：36 pipe_name String 数据管道名称。Pipe name. 最小长度：5 最大长度：63 create_by String

查看更多 →

创建管道作业接入IoTDA数据 场景说明 用户通过构建管道作业实现对设备数据进行清洗，规整，去重，增加外部业务属性信息等一系列处理，为下一步基于资产模型分析设备属性数据做好准备，本案例中管道作业为计算设备OEE相关指标准备好基础数据。 创建步骤 创建管道作业，进入IoTA Con

查看更多 →

OBS拷贝过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用moxing拷贝数据时出现如下报错。 图1 错误日志 原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在拷贝同一个桶的文件，导致OBS桶限流。 OBS

查看更多 →

选择“目的”页签中，选择数据源类型的目的“云脑管道 Pipe”，并配置管道信息。 图12 数据源接入目的地 表2 数据源接入的目的地 参数名称 参数说明 名称 自定义数据源目的名称。 描述 自定义数据源目的描述信息。 类型 此处选择“租户”。 管道 选择步骤五：（可选）新增管道创建的管道。 域账户 输入IAM域账号。

查看更多 →