ModelArts中常用概念

数据连接

ModelArts提供的数据接入能力，支持将不同来源（如OBS对象存储等）和多种格式的数据导入平台，并生成“原始数据集”，为后续的数据加工和模型训练提供统一的数据管理基础。

数据集

数据集是用于训练模型或评估的一组相关数据样本。ModelArts支持导入图片、文本、视频、音频等多种类型的数据集。在ModelArts中，存储在OBS中的数据通常以数据集的形式进行管理，便于后续的集中处理与版本控制。

数据集格式

数据集统一存储、读取的文件规范（如文本类DOCX、JSONL等），平台算子仅支持匹配格式的数据输入。

数据精炼

数据精炼是ModelArts提供的面向模型训练数据加工的一站式能力体系，通过“自动化加工+人工把关”相结合的方式，帮助用户将海量、多模态的原始数据高效转化为符合模型开发标准的高质量训练数据集。数据精炼包含智能精炼与人工校准两个模块。

智能精炼

ModelArts提供的一站式、全流程数据处理服务。通过任务化的方式，依托内置的精炼模板与可自由编排的精炼步骤，系统化地完成数据提取、转换、过滤、标注、合成等加工环节，帮助用户将海量、多模态的原始数据高效转化为符合模型开发标准的高质量训练数据集。

预置数据

ModelArts内置公开标准化数据集，无需用户自行导入，可直接加载至智能精炼流程开展加工、实验，免去从零采集的繁琐过程。

我的数据

用户通过数据连接自行上传的私有数据集资产，仅创建者及授权人员可见。

数据模态

数据的载体类型，ModelArts支持文本、图片、视频、音频等类别，智能精炼会根据模态自动匹配对应处理算子。

样本数

数据集中包含的独立数据条目（如单条文本、单张图片）的总数量，是衡量数据规模的核心指标。智能精炼执行前后会统计样本数量，直观展示数据过滤、扩充后的变化。

精炼模板

ModelArts封装好的成套算子流程，内置去重、过滤、数据增强等组合逻辑，用户一键选用即可完成完整数据加工，无需手动逐个配置算子。

算子

数据精炼过程中的最小执行单元（如去重、过滤、格式转换等），多个算子可编排成流水线以实现复杂的数据清洗与增强逻辑。

算子分为加工算子和合成算子两大类：

• 加工算子：依托固定规则执行数据质量优化，不新增样本，仅对已有数据做修正过滤。
• 合成算子：依托大模型能力基于现有样本生成全新数据，用于扩充数据集多样性，补足样本稀缺场景。

人工校准

ModelArts提供的数据质量把关能力，通过可视化标注界面，对已生成的训练数据进行人工核验与修正，弥补自动化加工环节难以覆盖的语义准确性、逻辑合理性等主观判断维度。

Notebook

ModelArts Notebook是基于Jupyter生态打造的云端交互式AI开发环境，预置PyTorch、MindSpore等主流深度学习框架及数据分析常用依赖库，实现开箱即用。它面向AI开发者提供高效的开发调测能力，免去本地复杂的环境搭建与依赖适配工作，助力用户高效完成数据探索、代码编写、算法调试等，是AI前期实验验证与思路落地的首选开发入口。

Notebook实例

Notebook的运行载体，由“算力规格+运行环境+存储资源”组合而成。用户需在创建Notebook实例时明确配置参数，实例启动后方可进入开发界面。Notebook实例支持按需启停，停止时将自动释放计算资源以节省成本，同时持久化存储中的文件和数据会安全保留。

交互式开发

Notebook核心开发模式，区别于一次性整体运行脚本。支持逐单元格执行代码、即时返回结果、随时修改重试，适合数据探查、参数调优、算法试错、模型实验迭代。

IDE（集成开发环境）

集成代码编写、运行、调试、文件管理、终端工具的一站式开发环境。ModelArts Notebook提供两种云上IDE：JupyterLab（交互式探索，适合分段调试）和Code Server（网页版VS Code，适合工程化项目）。同时支持通过SSH接入本地VS Code、CMD、MobaXterm等工具，在享受本地编码习惯的同时使用云端算力。

JupyterLab

Notebook的默认在线IDE集成了Jupyter编辑器，支持代码分段执行和即时结果展示。此外，还支持文件浏览器、终端（Terminal）、代码控制台（Code Console）三种开发工具，适合数据探索、算法分段调试、小样本实验验证等场景。

Code Server

ModelArts内置的Web端开发界面，提供与本地VS Code一致的完整IDE体验。它支持多文件管理、智能代码提示与工程级调试，适合中大型项目的工程化开发与重构。

内核（Kernel）

沿袭Jupyter原生机制，Kernel是Notebook中代码单元格的实际Python运行环境。用户可通过切换内核来无缝更换Python版本或底层AI框架。当遇到代码逻辑死循环导致内核卡死时，支持单独重启内核，无需重启整个Notebook实例，从而保障开发进度。

.ipynb Notebook文件

Jupyter生态标准文件格式，可留存代码、运行输出结果、图文注释笔记，支持导出为Python脚本、HTML、PDF等格式。

动态挂载

在Notebook实例运行时直接挂载存储能力，可以将云端存储（如并行文件系统、SFS Turbo）挂载到实例容器的“/data/”目录下，像操作本地文件一样读写云端存储的数据。

扩展存储

Notebook可额外挂载的持久化存储资源，用于解决实例本地磁盘容量有限的问题，可存放大规模数据集、权重文件、训练结果数据，数据独立于实例生命周期、长期持久保存。

模型推理

模型推理 (Model Inference) 是将训练成果转化为业务价值的核心环节。它是利用已学习的参数逻辑处理实时数据并产出预测结果的过程：通过输入真实数据（如文本、图像等），利用模型已学习的参数逻辑，自动执行分类、检测或生成任务。

在线推理

在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。

服务

推理平台的资源载体，核心是把已有的模型部署到生产环境，对外提供实时预测、逻辑推理的能力。

部署

用于管理模型的部署和更新，支持滚动更新和回滚，确保模型的高可用性和负载均衡。

部署副本

部署可以管理多个副本，确保模型的高可用性和负载均衡。能够独立完成一次推理任务的单元组合定义为一个部署副本，一个部署可以指定多个副本。

单元

单元是推理服务部署中最小的逻辑部署单元，是系统中承担不同功能的容器的集合。例如PD分离部署模式下，单元P和D分别代表Prefill和Decode。

分布式推理场景中，一个推理部署副本会由多个单元组成，每个单元会承担具体的职责，如：prefill、decode等。

基础模式下，一个部署副本包含1个推理单元，该单元独立承载完整推理服务，常用于混部场景。

多角色分离模式下，按需配置多推理单元，各单元对应推理部署实例一类角色，多个推理单元组合成完整推理部署实例，常用于 PD 分离等部署场景。

Pod

Pod是Kubernetes中最小的可部署计算单元，对应推理服务运行态的实际容器。

单元副本

单元副本是单元下由POD组成的集合，一个单元有一个或多个副本，每个副本的配置完全一样。

实时比对

在完全一致的输入条件下，对同一模型的不同部署版本（或不同模型）进行横向对比测试，以分栏视图直观比较输出，确保每次迭代有据可依，快速选出最优模型。

文本生成

大语言模型根据输入提示（Prompt）生成连贯文本内容的能力。

系统人设

在调用或测试模型时，预设的系统级指令（如“你是一个专业的医疗助手”），用于限定模型的回答风格、角色定位和行为边界。

温度/Temperature

用于控制模型输出的随机性、创造性的参数。温度设置低，输出更可预测；温度设置高，输出种类更多，更不可预测。

核采样/Top_P

用于控制模型输出的多样性，取值越大，生成文本的多样性越强。

Top_K

用于控制生成文本的创造力或者随机性。K值越小，生成的句子越通顺、逻辑越严密，但可能比较枯燥、重复。K值越大生成的句子越丰富、越有创意，但也更容易出现离谱的词（幻觉）。

TTFT

首Token延迟（Time To First Token）。从用户单击“发送”按钮开始，到屏幕上出现AI回复的“第一个字（Token）”所花费的时间。TTFT越低代表模型响应速度越快。

TPOT

每个Token耗时（Time Per Output Token）。当第一个字出来后，后续输出字符出现时，平均生成每个字需要的时间。TPOT越低代表模型后续输出越快，越流畅。

模型评测

量化评估模型效果的全流程功能，加载测试数据集运行模型，通过自动化指标或人工打分判断模型泛化能力、输出质量。

自动评测

基于预设规则或算法自动计算模型表现的评测方式。系统会根据相似度、准确率等指标自动打分，适合标准选择题或简单问答场景，自动化率高。

人工评测

由专业人员在线对模型生成的每条数据进行主观评估与打分的评测方式。支持自定义评测指标，适合评估文案质量、逻辑连贯性等复杂维度。

评测规则

判定模型输出优劣的标准，自动评测为代码化指标规则，人工评测为打分细则、合规校验条款，是评分的统一依据。

公共算力资源

公共算力资源，根据 AI 业务需要按量计费，方便快捷，无需额外购买、开通资源池。

公共资源适合测试场景或者业务流量有明显波峰波谷的业务，可以最大程度降低成本，但公共资源无法保证资源的供给。

专属算力资源

提供使用 ModelArts 时所需的专属独占资源池，不与其他用户共享，资源更可控。专属算力资源可以直接用于 ModelArts 下发训练作业、部署模型、强化学习、使用开发环境实例等。

面向有 ModelArts 诉求且需要专属资源的用户，且相较公共资源，功能更加丰富，多用于商业用途或生产场景。

资源队列

基于专属资源池创建多个资源队列，可将资源队列分配给其他工作空间使用，能够帮助您更好地进行多工作空间资源配额管理。

轻量算力资源

相较专属算力资源，轻量算力资源仅提供基础算力，需用户自行构建 AI 工具链。轻量算力资源分为轻量算力节点和轻量算力集群两大类。

轻量算力节点

轻量算力节点是一种面向云主机资源型用户，基于裸金属服务器或弹性云服务器进行封装，可以通过弹性公网IP直接访问操作服务器。

轻量算力集群

轻量算力集群是一种面向k8s资源型用户，提供托管式k8s的集群，并预装主流AI开发插件以及自研的加速插件，以云原生方式直接向用户提供AI Native的资源、任务等能力

资源池网络

承载ModelArts资源池节点的网络连接，基于华为云的VPC进行封装，对用户仅提供网络名称以及CIDR网段的选择项。

插件

一种可以选择性扩展资源池功能，以满足业务需求的扩展模块或功能组件。用于增强系统对资源池的管理能力。

插件广场

ModelArts 提供多种类型的插件包括可观测、容器弹性调度等。用户可以基于业务需求前往插件广场自行安装。

节点池

专属资源池中的资源分类单元，由多个节点组成（如GPU节点池、通用计算节点池）。

节点

节点池中的单个计算单元，提供具体资源（如CPU、内存）。

工作空间

工作空间是ModelArts面向企业用户提供的一个高阶功能，用于进一步将用户的资源划分在多个逻辑隔离的空间中，并支持以空间维度进行访问的权限限定。

在开通工作空间后，系统会默认为您创建一个“default”空间，您之前所创建的所有资源，均在该空间下。当您创建新的工作空间之后，相当于您拥有了一个新的“ModelArts分身”，您可以通过菜单栏的左上角进行工作空间的切换，不同工作空间中的工作互不影响。

授权

默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于授予的权限对云服务进行操作。

委托

为了完成AI计算的各种操作，ModelArts上在任务执行过程中需要访问用户的其他服务，典型的就是训练过程中，需要访问OBS读取用户的训练数据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。用户委托ModelArts代表自己访问特定的云服务，以完成其在ModelArts平台上执行的AI计算任务。

MoXing

MoXing是ModelArts自研的组件，是一种轻型的分布式框架，构建于TensorFlow、PyTorch、MindSpore等深度学习引擎之上，使得这些计算引擎分布式性能更高，同时易用性更好。MoXing包含很多组件，其中MoXing Framework模块是一个基础公共组件，可用于访问OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、PyTorch、MindSpore等)下均可以使用。

MoXing Framework模块提供了OBS中常见的数据文件操作，如读写、列举、创建文件夹、查询、移动、复制、删除等。

在ModelArts Notebook中使用MoXing接口时，可直接调用接口，无需下载或安装SDK，使用限制比ModelArts SDK和OBS SDK少，非常便捷。