批量推理数据文件格式示例

数据文件采用JSONL格式，文件大小不超过5G。batch_example.jsonl文件示例如下：

{"custom_id": "request-1", "body": {"model": "DeepSeek-R1-2", "messages": [{"role": "system", "content": "你是计算小助手."}, {"role": "user", "content": "1+1等于几?"}],"stream":"true"}}
{"custom_id": "request-2", "body": {"model": "DeepSeek-R1-2", "messages": [{"role": "system", "content": "你是计算小助手."}, {"role": "user", "content": "1+2等于几?"}],"stream":"false"}}
{"custom_id": "request-3", "body": {"model": "DeepSeek-R1-2", "messages": [{"role": "system", "content": "你是计算小助手."}, {"role": "user", "content": "1+3等于几?"}],"stream":"true"}}

表1 数据文件参数说明
参数	说明
custom_id	自定义ID。
model	自定义接入点或者商用服务的model参数。获取方式如下：自定义接入点：您可以登录ModelArts Studio（MaaS）控制台，在“在线推理 > 预置服务 > 自定义接入点”页签的“model参数”列获取。图1 自定义接入点model参数商用服务：您可以登录ModelArts Studio（MaaS）控制台，在“在线推理 > 预置服务 > 商用服务”页签，在服务名称左侧单击图标，在“model参数”列获取。图2 商用服务model参数
messages	请求输入的问题，其中role为角色，content为对话内容。
role	不同的role对应不同的消息类型。 system：开发人员输入的指令，例如模型应遵循的答复格式、扮演的角色等。 user：用户输入的消息，包括提示词和上下文信息。 assistant：模型生成的回复内容。
content	当role为system时：给AI模型设定的人设。示例如下： {"role": "system","content": "你是一个乐于助人的AI助手"} 当role为user时：用户输入的问题。示例如下： {"role": "user","content": "9.11和9.8哪个大？"} 当role为assistant时：AI模型输出的答复内容。示例如下： {"role": "assistant","content": "9.11大于9.8"}
stream	是否开启流式推理。 true：开启流式推理。 false：表示不开启流式推理。