更新时间:2025-09-16 GMT+08:00
分享

管理加工模型

功能介绍

数据加工中引入大模型的目的

在数据加工过程中引入大模型,旨在提升数据处理的智能化水平,增强对数据的语义理解、自动标注与分析能力。通过大模型,可以更高效地完成数据合成、标注与加工任务,提升数据质量与处理效率,降低人工干预成本。数据工程除了支持通过studio部署训练后的模型或预置模型之外(创建NLP大模型部署任务),还支持调用在MAAS-在线推理开通的商用服务。

当前支持以下操作使用大模型进行处理:

  • 数据合成:支持合成任务的调测与执行,以及指令调测。
  • 数据加工:详见系统预置加工算子介绍
  • 数据标注:支持AI辅助标注功能,提升标注效率与准确性。

约束限制

在使用大模型时,请注意以下约束条件:

  1. 接口规范:模型请求体与响应体需符合OpenAI标准接口格式。
  2. 网络连通性:需确保MAAS与微服务集群之间的网络连通性,否则可能导致调用失败。

注册加工模型

平台支持对加工模型进行注册,具体步骤如下:

  1. 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。
  2. 在左侧导航栏选择“数据工程 > 数据加工 > 加工模型配置”。
  3. 在“加工模型配置”页面,单击“注册模型”按钮,输入需要注册的模型相关信息:
    • 模型名称:注册模型在“加工模型配置”列表显示的名称。
    • 部署方式:MaaS服务,从MaaS中开通的商用预置服务。
    • Model:已开通的MaaS服务对应的“model参数”,可在MAAS“在线推理”页面,服务的“调用说明 > 版本 > Rest API”页签的接口信息中获得该字段名称。
    • API Key:在调用MaaS的模型服务时,需要填写API Key用于接口的鉴权认证,可在MAAS“在线推理”页面,服务的“调用说明 > 版本 > Rest API”页签的步骤一中创建并获取。
    图1 注册模型
    图2 调用说明
  4. 单击“连通性检查”,检查通过后,单击“确定”,即可注册成功。

管理加工模型

平台支持对加工模型进行查看、编辑、删除操作,具体步骤如下:

  1. 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。
  2. 在左侧导航栏选择“数据工程 > 数据加工 > 加工模型配置”。
  3. 在“加工模型配置”页面,可以看到已注册模型配置信息。
    图3 加工模型
  4. 选择需要修改的模型配置,单击“编辑”,修改模型配置信息后,单击“连通性检查”确保配置信息正确,再单击“确定”,则修改成功。
  5. 选择需要删除的模型配置,单击“删除”,即可删除对应模型配置信息。

相关文档