、IOTDA_API类型。管道作业详细配置，每个作业可选择不同的算子进行组合，各算子的使用方法详见：数据管道算子使用指南。 pipeline_info PipelineJobInfoDto object 管道作业基础信息，包括：管道ID、管道名称、管道类型等。 表4 PipelineJobInfoDto

查看更多 →

管道作业管理 新建管道作业 获取管道作业列表 获取管道作业详情 更新管道作业 删除管道作业 启动管道作业 停止管道作业 父主题： API列表

查看更多 →

调试数据管道 调试概述 界面介绍 操作指导 数据模板 父主题： 数据管道

查看更多 →

描述 rule_id String 告警规则 ID。Alert rule ID. pipe_id String 数据管道 ID。Pipe ID. pipe_name String 数据管道名称。Pipe name. create_by String 创建人。Create by. create_time

查看更多 →

用于将日志写入Kafka消息队列，配置规则请参见表11。 对象存储 OBS obs 用于写日志到 对象存储OBS 桶中，配置规则请参见表12。 云脑管道 PIPE pipe 用于将日志写入安全云脑管道中，配置规则请参见表13。 表9 tcp连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述

查看更多 →

管道作业常见问题 数据管道作业已保存成功为什么无法启动？ 为什么有些作业启动时需要选择计算资源但有些作业不需要？ 为什么无法添加产品过滤算子？ 父主题： 数据分析常见问题

查看更多 →

该参数的设置是为了避免人为或程序自身问题造成管道文件的一端长时间不读取或者不写入，导致管道另一端的读取或写入操作hang住。 该参数表示的超时时间不是指GDS一个导入导出任务的最长时间，而是GDS对管道文件的每一次read/open/write的最大超时时间，当超过--pipe-timeout参数设置时间会向前端报错。

查看更多 →

描述 rule_id String 告警规则 ID。Alert rule ID. pipe_id String 数据管道 ID。Pipe ID. pipe_name String 数据管道名称。Pipe name. create_by String 创建人。Create by. create_time

查看更多 →

数据源配置中，显示当前管道数据的详细信息，无需配置。 表2 数据源参数说明 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。

查看更多 →

描述 rule_id String 告警规则 ID。Alert rule ID. pipe_id String 数据管道 ID。Pipe ID. pipe_name String 数据管道名称。Pipe name. create_by String 创建人。Create by. create_time

查看更多 →

PipelineJobInfoDto objects 管道列表 表5 PipelineJobInfoDto 参数 参数类型 描述 pipeline_id String 管道ID 最小长度：1 最大长度：100 pipeline_name String 管道名称 最小长度：1 最大长度：64 data_source_id

查看更多 →

运行数据管道 运行数据管道 运行过程监控与数据跟踪（敬请期待） 父主题： 数据管道

查看更多 →

运行数据管道 数据管道编辑完成后，若存在错误，作业状态会变成”草稿”态，请检查作业配置；若不存在错误，作业状态会变为“就绪“态，表示该作业可以运行，如图所示： “就绪”态的作业即可运行：在“管理列表页”点击作业卡片，进入“作业详情页”，然后点击右上角的红色按钮“启动作业“。 启动

查看更多 →

右侧的，并在下拉选项中选择的“创建管道”，系统从右侧弹出创建管道页面。 图4 创建管道 在创建管道页面中，配置管道参数，参数说明如表2所示。 表2 创建管道 参数名称 参数说明 数据空间 该管道所属的数据空间，系统默认生成。 管道名称 自定义管道的名称。命名规则如下： 名称长度取值范围为5-63个字符。

查看更多 →

token, fetch from IAM api. 表3 请求Body参数 参数 是否必选 参数类型 描述 pipe_id 是 String 数据管道 ID。Pipe ID. query 是 String 查询语句。Query. query_type 否 String 查询语法，SQL。Query

查看更多 →

secmaster:pipe:list 授予权限查询数据管道列表。 list pipe * - secmaster:pipe:create 授予权限创建数据管道。 write pipe * - secmaster:pipe:get 授予权限查询数据管道详情。 read pipe * - s

查看更多 →

数据管道相关错误码 IoTA.03011001 作业定义错误 IoTA.03011002 作业名称错误 IoTA.03011003 作业描述错误 IoTA.03011006 作业名已存在 IoTA.03011007 作业数量超出限制 IoTA.03011011 作业配置无法正常解析，请检查是否为JSON格式

查看更多 →

OBS复制过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用MoXing复制数据时，日志中出现报错“BrokenPipeError: [Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下： 在大规模分布式作业上

查看更多 →

描述 rule_id String 告警规则 ID。Alert rule ID. pipe_id String 数据管道 ID。Pipe ID. pipe_name String 数据管道名称。Pipe name. create_by String 创建人。Create by. create_time

查看更多 →

描述 rule_id String 告警规则 ID。Alert rule ID. pipe_id String 数据管道 ID。Pipe ID. pipe_name String 数据管道名称。Pipe name. create_by String 创建人。Create by. create_time

查看更多 →

创建管道作业接入IoTDA数据 场景说明 用户通过构建管道作业实现对设备数据进行清洗，规整，去重，增加外部业务属性信息等一系列处理，为下一步基于资产模型分析设备属性数据做好准备，本案例中管道作业为计算设备OEE相关指标准备好基础数据。 创建步骤 创建管道作业，进入IoTA Con

查看更多 →