开始使用

如果您要在魔坊（ModelArts）模型训推平台创建专属资源池资源，请联系您所在企业的华为技术工程师开通白名单，具体购买流程请参考“创建专属资源池”文档。

如果您购买的是专属资源池，为了提升部署效率，建议提前在专属资源池中模型预热（可选）。 首次部署推理服务时，系统需从 OBS 下载模型权重至节点，大模型加载耗时较长；启用预热功能可提前加载模型，从而显著缩短部署时间。

1. 选择"模型推理 > 在线推理"，进入在线服务管理页面。
   图1 在线服务管理页面
   

2. 单击右上角的"部署"，进入"部署在线服务"页面。
3. 在部署在线服务页面，基本信息可参考如下表1 服务信息填写完成后，单击"下一步"，进行部署配置。
   图2 基本信息配置
   
   图3 网络信息配置
   
   图4 高可用配置
   

   表1 服务信息

   参数类别	参数名称	参数说明	取值示例
   基础信息	服务名称	自定义服务名称，建议加上模型名称。	Qwen3-14B
   网络配置	服务接入方式	选择"默认"，使用ModelArts平台能力。	默认
   网络配置	服务协议	选择"HTTP"，请求超时按需修改。	HTTP
   网络配置	认证方式	按需选择服务认证方式	API KEY 认证
   高可用配置	流控策略	流控策略由“策略类型”与“流控方式”组成，相同的策略不支持重复添加，多个策略将作为规则集组合生效。	保持默认
   高可用配置	请求超时时间（秒）	发送请求后等待系统返回首Token结果的最长等待时间，输入值必须在1到1200之间，单位：秒，超过该时间仍未收到回复，请求将被自动终止。流式传输场景下,每次收到请求响应时，会重新刷新该超时时间，但系统端到端响应超时时间固定为 3600 秒。	根据具体使用调节

4. 在部署配置页面填写配置参数。
   • 资源配置：根据需要选择公共资源池或者专属资源池，本文档以公共资源池为例。
     图5 资源配置
     
   • 模型配置：选择自定义模型，存储地址为快速部署创建对象存储 OBS桶，桶名称为表1中bucket_name的名称，挂载路径默认为：/home/models-file。
     图6 模型配置
     
   • 单元配置：选择基础模型，单元实例规格为部署模型需要的最小卡数，参考表2中的最小卡数（64G显存），镜像类型为选择自定义镜像，镜像源地址为lm_inference文件下的镜像。如果选择专属资源池也可以参考推理单元参数说明的自定义规格分配。
     图7 单元配置
     
   • 启动命令，根据实际部署模型替换对应的变量。
     1. 如果是表2中的模型，启动命令如下：

        sh /home/models-file/code/run_vllm_908.sh ${model_name} ${port} ${required_cards}

     2. 如果是表3中的模型，启动命令如下：
        MinerU模型:

        sh /home/models-file/code/run_vllm_mineru.sh ${model_name} ${port} ${required_cards}

        其他模型：

        sh /home/models-file/code/run_vllm_open_source.sh ${model_name} ${port} ${required_cards}

     变量解释：

     • model_name：模型名称，和表2表3 支持的模型及其最小卡数和最大序列中的模型名称一致
     • required_cards：NPU卡的数量，参考表2表3 支持的模型及其最小卡数和最大序列中的最小卡数
     • port：服务部署的端口
     图8 启动命令
     
   • 单击创建凭据，自定义填写凭据名称，企业项目，参考访问密钥获取账号的AK,SK。键为accessKeyId和secretAccessKey，值分别对应用户的AK、SK信息。
     图9 创建凭据
     
   • 部署管理配置中容器协议为http，容器端口和图8启动命令中的port变量值保持一致，填写完配置参数单击下一步，启动部署任务。
     图10 部署管理配置
     

curl -X POST ${url}/v1/completions \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer ${API-Key}' \
-d '{        
      "model": "${container_model_path}",      
      "prompt": "hello",
      "max_tokens": 32,
      "temperature": 0   
}'

curl -X POST ${url}/v1/chat/completions \
-H "Content-Type: application/json" \ 
-H 'Authorization: Bearer ${API-Key}' \
-d '{
    "model": "${container_model_path}",
    "messages": [
        {
            "role": "user",
            "content": "hello"
        }
    ],
    "max_tokens": 32,
    "temperature": 0
}'

curl -X POST ${url}/v1/rerank \
    -H "Content-Type: application/json" \
    -H 'Authorization: Bearer ${API-Key}' \
    -d '{
        "model": "${container_model_path}",
        "query": "What is the capital of France?",
        "documents": [
            "The capital of France is Paris",
            "Reranking is fun!",
            "vLLM is an open-source framework for fast AI serving"
        ]
    }'

curl -X POST ${url}/v1/embeddings \
    -H "Content-Type: application/json" \
    -H 'Authorization:Bearer${API-Key}' \
    -d '{
        "model": "${container_model_path}",
        "input":"I love shanghai"
    }'

curl ${url}/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H 'Authorization: Bearer ${API-Key}' \
    -d '{
    "model": "${container_model_path}",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": [
            {"type": "image_url", "image_url": {"url": "${image_url}"}},
            {"type": "text", "text": "图片中内容"}
        ]}
    ],
    "max_tokens": 512,
    "temperature": 0.7
}'

接口详情

通过API接口使用以下推理测试命令。

• ${url}：进入在线推理服务列表，选择部署成功的在线推理服务，单击服务调用，复制调用地址。

GET /health：健康检查。

无参数。返回服务健康状态，用于探活。

curl ${url}/health

POST /file_parse：同步解析

上传文件并等待解析完成，直接在 HTTP 响应中返回结果。适合小文件或即时场景。大文件可能超时，建议使用异步接口。

curl -X POST ${url}/file_parse \  
-F 'files=@test.pdf' \  
-F 'backend=hybrid-engine' \  
-F 'return_md=true'

/health

/file_parse

/tasks

/tasks/{task_id}

/tasks/{task_id}/result

files

backend

hybrid-engine

effort

medium

parse_method

auto

lang_list

ch

formula_enable

true

table_enable

true

image_analysis

true

return_md

true

returnmiddlejson

false

return_images

false

startpageid

0

endpageid

99999

异步流程：

提交任务 → 轮询状态 → 获取结果

POST /tasks：异步提交

上传文件并提交解析任务，立即返回 task_id。后续轮询状态，完成后拉取结果。适合大文件或批量处理。

curl -X POST ${url}/tasks \  
-F 'files=@test.pdf' \ 
-F 'backend=hybrid-engine'

GET /tasks/{task_id}：查询状态

根据 task_id 查询当前状态。典型流程：pending → running → completed / failed。

curl ${url}/tasks/{task_id}

GET /tasks/{task_id}/result：获取结果

任务 completed 后调用，获取最终解析结果。返回内容取决于提交时指定的返回参数，可能为 Markdown / JSON / 图片。

curl ${url}/tasks/{task_id}/result

异步完整示例。需提前安装 jq。

# 1. 提交异步任务 
TASK_ID=$(curl -s -X POST ${url}/tasks \  
-F 'files=@document.pdf' \  
-F 'backend=hybrid-engine' \  
-F 'effort=high' \  
-F 'return_md=true' \  
-F 'formula_enable=true' \  
-F 'table_enable=true' | jq -r .task_id) 
# 2. 轮询状态直到完成 
while true; do
  STATUS=$(curl -s ${url}/tasks/$TASK_ID | jq -r .status)
  echo "Status: $STATUS"
  [ "$STATUS" = "completed" ] && break  [ "$STATUS" = "failed" ] && { echo "Task failed!"; exit 1; }
  sleep 3
done 
# 3. 获取最终结果 
curl -s ${url}/tasks/$TASK_ID/result | jq .

pipeline

hybrid-engine

high

hybrid-engine

medium

vlm-engine