摘要

可扩展动态路由的自监督预训练范式SDRNet，在分类和检测任务上SOTA！

（state-of-the-art 目前最好/最先进的）

自监督预训练的常见做法是使用尽可能多的数据。

对于特定的下游任务，在 预训练 中涉及 无关数据 可能会 降低下游性能 。

对于现有的SSL方法，在针对不同任务的预训练中使用 不同的下游任务定制数据集 比较繁琐。

提出了一种称为 可扩展动态路由（Scalable Dynamic Routing，SDR） 的新SSL范式，

该范式可以训练一次，并使用任务定制的预训练模型有效地部署到不同的下游任务。

用不同的子网构造SDRnet，并通过数据感知渐进式训练，仅用 数据的一个子集训练每个子网 。

当下游任务到达时，在所有预训练的子网之间进行路由，以获得最佳的子网及其相应的权重。

SDR首先对训练数据进行聚类，然后通过数据感知的渐进式训练框架

使用不同的聚类对每个子网进行训练。

最后，将定制子网有效地部署到不同的下游任务中

参考链接：

预训练的数据不是越多越好？港科大&华为诺亚提出具有可扩展动态路由的自监督预训练范式SDRNet，在分类和检测任务上SOTA！