最大CLIP！LAION发布CLIP的扩增定律

发布时间：2022-12-30 07:07:14

(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：机器学习是不同的

最大CLIP！LAION发布CLIP的扩增定律

全国“100个城市消费者满意度”排名出炉宜昌居第12位

3月15日从省消委获悉，宜昌、襄阳、武汉三地在全国2021年100个城市消费者满意度排名中进入前五十，名次...

湖北省又一家市州离岸科创基地落户光谷

继黄石(武汉)离岸科创中心之后，我省又有一家市州离岸科创基地落户光谷。3月17日，荆门市政府与武汉工程...

省地调院：东湖生态系统综合健康级别总体为“好”

东湖，是武汉市世界级的名片，其生态健康状况，世人瞩目。3月17日获悉，省地质调查院历时一年给东湖做了...

“东亚文化之都2021共同宣言”发布欲增东亚文化国际影响力

最大CLIP！LAION发布CLIP的扩增定律

全国“100个城市消费者满意度”排名出炉 宜昌居第12位

3月15日从省消委获悉，宜昌、襄阳、武汉三地在全国2021年100个城市消费者满意度排名中进入前五十，名次...

湖北省又一家市州离岸科创基地落户光谷

继黄石(武汉)离岸科创中心之后，我省又有一家市州离岸科创基地落户光谷。3月17日，荆门市政府与武汉工程...

省地调院：东湖生态系统综合健康级别总体为“好”

东湖，是武汉市世界级的名片，其生态健康状况，世人瞩目。3月17日获悉，省地质调查院历时一年给东湖做了...

“东亚文化之都2021共同宣言”发布 欲增东亚文化国际影响力

全国“100个城市消费者满意度”排名出炉宜昌居第12位

“东亚文化之都2021共同宣言”发布欲增东亚文化国际影响力