解决方案:总结描述下知识蒸馏、量化、剪枝的区别

文章目录

  • 一、现象
  • 二、解决方案

解决方案:总结描述下知识蒸馏、量化、剪枝的区别


一、现象

在算法中,时而会听到知识蒸馏、量化、剪枝这三个专业名词,进行记录

二、解决方案

  • 知识蒸馏:一般将复杂、学习能力强的网络学到的特征表示“知识”蒸馏出来,传递给参数量小、学习能力弱的网络。
  • 量化:就是用较低位宽表示典型的 32 位浮点网络参数。
  • 剪枝:主要思想就是将权重矩阵中相对“不重要”的权值剔除。
版权声明:如无特殊标注,文章均来自网络,本站编辑整理,转载时请以链接形式注明文章出处,请自行分辨。

本文链接:https://www.shbk5.com/dnsj/75473.html