更新时间:2021-09-18 GMT+08:00
分享

什么是迁移学习?

基本概念

迁移学习是属于机器学习的一个领域。它专注于将已有问题的解决模型(或知识)应用于其他不完全相同但相关的问题中。比如,识别卡车的能力可以通过辨识汽车的模型(或知识)来提升;新数据中心(也被称为目标域)相关问题的模型能力,可以通过已有数据中心(也被称为源域)学到的能耗模型或知识来提升。

价值

迁移学习对目标域的训练数据需求量小(如下图所示),通过迁移源域知识或模型来增强在非训练数据上的回归效果,提升模型的泛化能力,实现模型的跨域部署。

典型方法

  • 特征迁移

    为了提升已有知识从源域到目标域的可迁移性,希望两个域之间的知识尽可能相似。这样就无须考虑阻碍迁移的特定域特征,仅考虑域之间的共同点。与其通过自动解码器学到一些知识后,直接进行相似比较,不如通过积极激励使两个域中的知识变得更加相似,同时也识别出差异的地方,强化迁移效果。

  • 模型迁移

    假设源域和目标域共享模型参数,即目标域应用源域通过大量数据训练好的模型进行预测。例如利用几百万以上的图象训练一个图象识别系统,当遇到新图象领域问题时,无须再准备几十万的图象数据进行训练,只需将已训练好的模型迁移到新领域,此时新领域只需几万张图片,就可以得到很高的精度。优点是可以充分利用模型之间的相似性。

分享:

    相关文档

    相关产品

close