大语言模型推理参数自动寻优

约束限制

当前版本不支持在单个容器内启动多个寻优进程

安装 acsprof 工具

acsprof 超参数寻优能力目前集成在 acs-service-profiler 工具中。昇腾云6.5.906及以后版本的配套镜像中默认已经安装acs_service_profiler-xxx-py3-none-any.whl工具包，无需单独安装。

可以通过如下命令查看是否已经安装acs_service_profiler工具。

$ pip show acs-service-profiler

如果需要安装acs-service-profiler工具，请参考以下步骤执行。

1. 获取acs-service-profiler工具的whl包。whl包存放在软件包AscendCloud-LLM-xxx.zip > llm_tools目录中。acs-service-profiler工具安装在具备python的环境即可。

2. 在已经安装python的环境中如windows机器（打开Windows PowerShell）或者linux服务器中，执行如下命令安装acs-service-profiler工具。(可选)

$ pip install llm_tools/acs_service_profiler-*-py3-none-any.whl

配置寻优参数

使用 acsprof 进行参数寻优前需要先指定三部分配置：寻优算法配置、服务启动配置、acs-bench 性能评测配置。配置内容写在config.toml中，并通过MODEL_EVAL_STATE_CONFIG_PATH 环境变量指定，命令如下：

export  MODEL_EVAL_STATE_CONFIG_PATH=config.toml

以下为 Qwen3-8B 的混部服务config.toml 配置文件：

# -------------------------寻优相关参数配置-----------------------------------------
n_particles = 5
iters = 10
ttft_penalty = 1
tpot_penalty = 1
success_rate_penalty = 5.0
ttft_slo = 2
tpot_slo = 0.05
service = "master"
sample_size = 1000

# -------------------------vllm相关配置--------------------------------------------
[vllm]
[vllm.command]
host = "localhost"
port = "8081"
model = "/Qwen3-8B"
served_model_name = "qwen3"
others = "--dtype=auto --tensor-parallel-size=1 --block-size=128 --max-model-len=32768 --trust-remote-code --enable-reasoning --reasoning-parser=deepseek_r1 --guided-decoding-backend=xgrammar --enable-auto-tool-choice --tool-call-parser=hermes --distributed-executor-backend=ray --load-format=dummy --enforce-eager"
[[vllm.target_field]]
name = "MAX_NUM_BATCHED_TOKENS"
config_position = "env"
min = 8192
max = 65536
dtype = "int"
value = 8192
[[vllm.target_field]]
name = "MAX_NUM_SEQS"
config_position = "env"
min = 32
max = 512
dtype = "int"
value = 64

# -------------------------acsbench相关配置-----------------------------------------
[acs_bench.command]
dataset_type = "custom"
input_path = "built_in_dataset"
input_length = 512
output_length = 128
num_requests = 80
provider = "providers.yaml"
concurrency = 3000
benchmark_save_path = "test_results"
others = ""

其中寻优相关参数可参考建议值， vllm 服务及 acs-bench 参数依据实际服务参数指定。具体参数说明参考寻优参数说明。

寻优参数说明

注意：

1. 6.5.908 版本图模型ascend_turbo_graph 开启时 MAX_NUM_SEQS 需固定为 128，暂不支持该参数调优.
2. others 参数间使用空格分隔，参数内部不能留有空格。开启图 ascend_turbo_graph 模型下参考：

    others = "--additional-config={\"ascend_turbo_graph_config\":{\"enabled\":true},\"ascend_scheduler_config\":{\"enabled\":true,\"chunked_prefill_enabled\":false}}"

当前 acs-bench 配置支持并发和爬坡模型，爬坡模式配置方式可在 others 参数中增加参数，参考：

others="--backend openai-chat --epochs 3 --warmup 2 --use-climb --climb-mode linear --growth-rate 5 --init-concurrency 1 --growth-interval 1000" 

更多 acs-bench 评测命令参考：大语言模型推理性能测试

执行参数寻优命令

使用 acsprof auto_tune 命令启动参数调优

 acsprof auto_tune -e vllm -b acsbench

参数说明如下表：

查看寻优结果

寻优结果默认会存储在脚本执行当前目录的 result/store/xxx.csv 文件下，也可以使用环境变量 MODEL_EVAL_STATE_CUSTOM_OUTPUT 来控制输出路径，如：

 export MODEL_EVAL_STATE_CUSTOM_OUTPUT=result/store/ 

最终输出结果如下表格：

依照 fitness 列进行从大到小排序，找到最小的 fitness 值对应行的超参数即为最优超参数。