知识蒸馏是一种模型压缩技术（model compression technique），通过让小模型（学生模型）学习大模型（教师模型）的输出或中间表示，以在保持精度的同时减少计算量和存储需求。