更新时间:2023-12-13 GMT+08:00

TPE算法

TPE算法全称Tree-structured Parzen Estimator,是一种利用高斯混合模型来学习超参模型的算法。在每次试验中,对于每个超参,TPE为与最佳目标值相关的超参维护一个高斯混合模型l(x),为剩余的超参维护另一个高斯混合模型g(x),选择l(x)/g(x)最大化时对应的超参作为下一组搜索值。

表1 TPE算法的参数说明

参数

说明

取值参考

num_samples

搜索尝试的超参组数

int,一般在10-20之间,值越大,搜索时间越长,效果越好

n_initial_points

采用TPE接近目标函数之前,对目标函数的随机评估数

int,一般不建议用户修改

gamma

TPE算法的一定分位数,用于划分l(x)和g(x)

float,范围(0,1),一般不建议用户修改