更新时间:2024-01-26 GMT+08:00

模拟退火算法(Anneal)

模拟退火算法即Anneal算法,是随机搜索中一个简单但有效的变体,它利用了响应曲面中的平滑度。退火速率不自适应。Anneal算法从先前采样的一个试验点作为起点,然后从与先验分布相似的分布中采样每组超参数,但其密度更集中在选择的试验点周围。随着时间推移,算法会倾向于从越来越接近最佳点处采样。在采样过程中,算法可能绘制一个次佳试验作为最佳试验,以一定概率跳出局部最优解。

表1 模拟退火算法的参数说明

参数

说明

取值参考

num_samples

搜索尝试的超参组数

int,一般在10-20之间,值越大,搜索时间越长,效果越好

avg_best_idx

要探索试验的几何分布平均,从按照分数排序的试验中选择

float,一般不建议用户修改

shrink_coef

随着更多的点被探索,邻域采样大小的减少率

float,一般不建议用户修改