以cifa-10分类为例，包含train from scratch，Finetune以及固定某些参数不参与训练。
参考neuron-selectivity-transfer，https://github.com/TuSimple/neuron-selectivity-transfer
2022-07-25 17:08:31
209.06MB
1
Focal and Global Knowledge Distillation for Detectors(1).pptx
2022-05-29 17:05:41
2MB
1
yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏
yolov3-channel-and-layer-pruning
本项目以ultralytics/yolov3为基础实现，根据论文Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017)原理基于bn层Gmma系数进行通道剪枝，下面引用了几种不同的通道剪枝策略，并对原策略进行了改进，提高了剪枝率和精度；在这些工作基础上，又衍生出了层剪枝，本身通道剪枝已经大大减小了模型参数和计算量，降低了模型对资源的占用，而层剪枝可以进一步减小了计算量，并大大提高了模型推理速度；通过层剪枝和通道剪枝结合，可以压缩模型的深度和宽度，某种意义上实现了针对不同数据集的小模型搜索。 项目的基本工作流程是，使用yolov3训练自己数据集，达到理想精度后进行稀疏训练，稀疏训练是重中之重，对需要剪枝的层对应的bn gamma系数进行大幅压缩，理想的压缩情况如下图，
2022-05-04 21:02:31
1.4MB
1
知识蒸馏
知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识，
期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用。
目录结构
1.参考 (Hinton et al., 2015),
在cifar10数据上的复现，提供一个对Knowledge Distillation的基本认识，具体内容请查阅：
2.利用BERT-12 作为Teacher，BERT-3作为student，同时学习ground truth 和 soften labels，性能与Teacher 相当甚至更优，具体内容请查阅：
主要参考论文：
3.利用模块替换的思路，来进行Knowledge Distillation，具体内容请查阅：
论文：
Blog:
repo:
4.利用不同样本预测的难易
2022-02-25 14:29:26
87KB
1
知识蒸馏TPU
使用ResNet和简单的ConvNet进行的卫星图像分类器知识蒸馏。 这些模型在TPU上进行了训练。
2021-12-02 21:14:53
1.83MB
1
Online Multi-Granularity Distillation for GAN Compression
2021-11-22 11:02:27
12.26MB
BERT和知识提炼的问题解答
该存储库包含必要的代码，以便微调SQuAD 2.0数据集上的BERT。 此外，的技术是通过微调施加使用BERT作为教师模型小队2.0数据集。 使用Google Colab的1个Tesla V100 GPU获得了所有结果。
1.什么是SQuAD？
斯坦福问答数据集（SQuAD）是一种阅读理解数据集，由人群工作人员在一组Wikipedia文章上提出的问题组成，其中每个问题的答案是对应阅读段落或问题的一段文本或跨度可能无法回答。
SQuAD 2.0将SQuAD 1.1中的100,000个问题与超过50,000个由对抗性工作者对抗性编写的问题相结合，看起来类似于可回答的问题。 为了在SQuAD 2.0上取得出色的成绩，系统不仅必须在可能的情况下回答问题，而且还必须确定该段落何时不支持任何答案并放弃回答。 有关SQuAD数据集和当前排行榜的更多信息，您可以访问以下。
2021-10-22 11:08:27
806KB
1
知识蒸馏在文本方向上的应用
模型相关等内容在有具体介绍。
目录
更新日志
2020.08.28
整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型预训练代码。
2020.07.15
修复bug，添加textGCN模型（单独训练，模型效果较差）。
2020.07.06
移除模型介绍＆部分模型实现，增加使用说明及运行环境。
2020.05.28
增加了直接使用学生模型训练代码，并使用公开测试集完成测试。
运行环境
python 3.7
pytorch 1.1 （BERT模型参考Bert-Chinese-Text-Classification-Pytorch，有较多改动）
transformers 3.0.2
torch 1.5.0
使用说明
下载Wikipedia_zh 中文维基百科 预训练词向量放入Knowl
2021-10-03 16:16:24
1.11MB
1
这篇文章利用知识蒸馏方式对PSPNet进行了模型压缩，包含传统logits蒸馏和logits与特征混合蒸馏两种方式。
Teacher：PSPNet model of ResNet18 backbone
Student： PSPNet model of ResNet50 backbone.
Dataset: PASCAL-VOC2012
2021-09-03 18:12:40
1022KB
基于BERT的蒸馏实验
参考论文《从BERT提取任务特定的知识到简单神经网络》
分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验
实验数据分割成1（有标签训练）：8（无标签训练）：1（测试）
在情感2分类服装的数据集上初步结果如下：
小模型（textcnn＆bilstm）准确率在0.80〜0.81
BERT模型准确率在0.90〜0.91
蒸馏模型准确率在0.87〜0.88
实验结果与论文某些基本一致，与预期相符
后续将尝试其他更有效的蒸馏方案
使用方法
首先finetune BERT
python ptbert.py
然后把BERT的知识蒸馏到小模型里
2021-06-10 13:46:28
30.23MB
1