【nlp】知识蒸馏Distilling

一、知识蒸馏介绍 1. 什么是知识蒸馏？ 知识蒸馏（Knowledge Distillation） 是一种用于模型压缩的技术，通过让小模型（称为学生模型，student model）从大模型（称为教师模型，tea...