数据集成 数据源管理 支持通过手动配置或批量导入的方式接入数据源 图1 数据源管理 任务设计 拖拉拽设计 支持组件化拖拉拽方式快速完成数据同步任务的设计，用户在完成设计后，可通过预检测确认设计无误，通过开始、停止、刷新、查看日志等操作调试任务。 图2 拖拉拽设计 字段自动映射 配

查看更多 →

数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增

查看更多 →

数据集 数据集主要包含两块：左侧树状导航展示数据集路径、右侧可进行新建数据集操作。 图1 数据集 数据集可以直接从数据源在线导入，也可以离线导入本地文件。 图2 数据集导入 单击“数据集”，可看到该数据集详情和元数据信息。 图3 数据集详情 图4 元数据 父主题： DataLab用户手册

查看更多 →

数据集 表1 数据集权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据集列表 GET /v1.0/{project_id}/common/datasets octopus:dataset:list

查看更多 →

数据集 获取数据集列表 创建数据集 获取数据集详情 删除数据集 父主题： API

查看更多 →

数据集成 支持接入的云服务日志 接入日志数据 父主题： 设置

查看更多 →

数据集 选择在“数据中心”中配置的数据集，作为组件数据来源。选择此方式时，请确保数据集已在数据中心创建，详情请参见数据中心。 数据集 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在编辑页面状态下，选中组件，单击组件上方的。 在数据类型中，选择“数据集”。

查看更多 →

气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类

查看更多 →

访问华为开源镜像站并登录，如图1所示。 图1 登录开源镜像站 使用导航栏或搜索功能快速找到自己需要的镜像类型，如图2所示。 图2 查找镜像 单击目标镜像类型的卡片，根据提示操作即可快速下载该镜像，如图3所示。 图3 下载镜像

查看更多 →

组件统一搜索 您可以在开源镜像站中搜索某个需要的开源组件及其基本信息。 开源镜像站论坛 您可以就开源镜像站使用及相关技术问题在论坛中发帖进行交流，相关的技术专家会进行答复或建议。 应用场景：加速开源组件下载 您可以在本地开发环境、华为云编译构建服务或其他场景，使用开源镜像站进行加速下载需要的开源开发组件、工具或操作系统。

查看更多 →

开源治理服务常见问题 成分分析的开源软件风险如何分析？ 成分分析的安全编译选项类问题如何分析？ 成分分析的安全配置类问题如何分析？ 组件版本为什么没有被识别出来或识别错误？ 成分分析的开源漏洞文件路径如何查看？ 成分分析的任务扫描失败怎么办？ 扫描到恶意代码如何定位？ 如何解决Roles

查看更多 →

查看华为开源镜像站 背景信息 华为开源镜像站由华为云CodeArts团队开发及维护，支持语言类、工具类、操作系统类、容器类以及华为SDK镜像的加速下载。 功能简介 访问华为开源镜像站。 进入“华为开源镜像站”总览页面，查看镜像列表。 支持在搜索框中输入关键字进行搜索。 支持按“下

查看更多 →

获取开源漏洞分析报告 功能介绍 根据任务ID获取开源漏洞分析的报告 URI GET /v1/{project_id}/sbc/task/report/opensource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id

查看更多 →

获取Kafka开源客户端 Kafka实例支持多种语言的客户端，如果您想要使用其他语言连接Kafka实例，可以从Kafka官网获取客户端。 Kafka官网支持的客户端语言包括：C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端，按照Kaf

查看更多 →

Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/ FTP服务器 导入数据到HDFS/OBS

查看更多 →

MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的 服务器 ，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J

查看更多 →

JSON 返回体。 page JSON 分页信息。 dataList JSON 数据集列表。 id String 数据集ID。 name String 数据集名称。 businessName String 数据集名称。 scheme String 模式，暂无用。 url String

查看更多 →

JSON 返回体。 page JSON 分页信息。 dataList JSON 数据集列表。 id String 数据集ID。 name String 数据集名称。 businessName String 数据集名称。 scheme String 模式，暂无用。 url String

查看更多 →

订阅数据集 立即订阅数据集 申请订阅数据集 查看数据集订阅申请 审批数据集订阅申请 父主题： 消费数据集

查看更多 →

新建数据集 数据服务提供了直接将本地数据文件发布为数据集的能力（也称为一键式发布数据集的能力）。 通过一键式发布的数据集密级级别默认为秘密，并且显示在数据服务的“首页>我的数据集”以及“数据资产>数据目录>自建数据集”页签。 一键式发布数据集不需要审批。 前提条件 登录用户为具有“Data

查看更多 →

下载数据集 下载数据集到OBS 父主题： 消费数据集

查看更多 →