菜单导航

清华大学朱文武团队夺冠AAAI2021国际深度元学习挑

作者: 酷学中国网 发布时间: 2021年02月20日 18:36:42

机器之心发布
机器之心编辑部
清华大学朱文武教授团队摘得AAAI 2021 国际深度元学习挑战赛(MetaDL Challenge)冠军。
近日,国际人工智能顶级会议 AAAI 2021 召开,清华大学朱文武教授团队的 Meta_Learners 团队在 AAAI 2021 国际深度元学习挑战赛(MetaDL Challenge)中夺得冠军。该团队在最终阶段的隐藏测试数据集上取得了 40.4% 的准确率,以高于第二名 13% 性能的大幅度领先强势摘得桂冠。

清华大学朱文武团队夺冠AAAI2021国际深度元学习挑

元学习是机器学习自动化过程的一个重要步骤,旨在设计和训练拥有强大适应能力和泛化能力的机器学习模型,来应对现实应用场景中环境变化剧烈、训练数据不足的挑战。
随着机器学习解决实际问题的日益复杂化,元学习,特别是深度元学习,近期受到了来自产学研各界越来越多的关注,成为人工智能领域最热门的研究方向之一。目前,谷歌、微软、亚马逊等国际巨头均已将元学习算法应用到自己的产业链之中;国内许多知名公司,如腾讯、百度、字节跳动等,也在不断完善自己的元学习算法和系统。
此次 MetaDL 挑战赛是元学习领域举办的第一届比赛,由第四范式和微软联合举办,并登陆人工智能领域顶级会议 AAAI 2021,吸引了众多国内外优秀团队的关注和参与。本次赛事共有近一百支队伍参赛,内容为图像分类领域中的小样本学习问题。
小样本学习是目前机器学习国际前沿正在解决的问题之一,是元学习的一个重要应用场景,而基于小样本的深度元学习将更加复杂,面临巨大挑战。与以往的小样本学习不同,本次比赛同时考察元学习算法本身的泛化性和自适应性,对算法在各个场景下的有效性进行测试。
比赛分为两个阶段:Feedback 阶段与 Blind test 阶段。
Feedback 阶段是代码提交及完善阶段。主办方提供了一个公开的线下数据集以及一个隐藏的线上数据集,供参赛者构建以及调试他们的 MetaDL 系统。
Blind test 阶段是最终测试阶段。此阶段拥有另一个完全不同的隐藏测试集。第一阶段提交的最后一次代码会在这个数据集上进行训练和测试,最终的结果将被作为最终效果用于排名。

清华大学朱文武团队夺冠AAAI2021国际深度元学习挑

每个数据集都由两部分组成:元训练数据集以及元测试数据集。元训练数据集包含若干类图片供深度元学习模型进行元训练过程,而元测试数据集包含 600 个片段(episode),每个片段均是五分类一训练样本十九测试样本(5-way-1-shot-19-query)的小样本图像分类任务。对于每个片段,模型需要在给定的五个训练样本(support set)上执行训练过程,并对剩余九十五个测试样本(query set)进行测试。
本次比赛具有以下三个方面的挑战:
一、如何使模型具有快速适应小样本新任务的能力。在这次比赛中,参赛者提交的模型拥有两次训练过程:元训练过程以及测试训练过程。在元训练过程中,模型必须提炼出该数据集的元知识以及最佳的学习方法,来确保模型在测试训练过程中能快速学习并防止过拟合。
二、时间以及空间约束。本次比赛拥有对时间以及空间的约束条件。总时长不超过 2h,总 GPU 资源占用不得超过 4 张 8G M60 GPU。这要求参赛者提供的模型必须高效、轻量地提取元知识和学习方法。
三、适配未知数据集。相别于传统小样本学习,本次比赛还考察了模型对于不同类型数据集的适应效果。由于事先并不知道测试阶段的隐藏元训练数据,挑战者提交的模型必须拥有足够的泛化能力,来应对在未知类型的数据集中提炼元知识的能力。这一点又被称为元-元学习,是对元学习的补充与提升。
为了应对以上三个问题,Meta-Learners 参赛团队提出了自适应深度元学习系统 Meta-Delta 来实现轻量级、高效、高泛化性的元学习模型。

清华大学朱文武团队夺冠AAAI2021国际深度元学习挑

清华大学朱文武团队夺冠AAAI2021国际深度元学习挑

Meta-Delta 系统采用基于测量的方法(metric-based method)来作为元学习模型的内核(如图 Meta-Learner)。这种方法将数据集映射到一个元知识空间,并以空间中测试样本点(query)和训练样本点(support)的距离远近,来快速进行小样本分类。这样的做法将元知识的提取转化为空间变换问题,是最近研究中效果最好的元学习算法之一,很好地解决了快速适应小样本新任务的挑战。
基于此内核,团队精心构造了资源控制模块,精准管控与分配模型学习时的时间空间消耗,采用多进程与多线程相结合的方式,在不超时的前提下进行尽可能充分的元知识提取。最后,系统采用不同的预训练模型 + 多模型整合(ensemble)的方式,使得整个系统在面对未知的数据集时,仍然能够有效地提取出最佳元知识,使其具有更强的泛化能力。
团队成员介绍
Meta_Learners 团队成员包括计算机系在读硕士生关超宇、卫志坤、陈禹东,由关超宇担任队长,朱文武教授与王鑫助理教授担任指导教师。
团队从 2015 年开始关注和研究机器学习自动化相关研究领域,已经具备了较为丰富的领域知识和较为深厚的技术积累,该团队曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军。此次参与 MetaDL 第一届比赛以显著优势夺得冠军。
元学习作为一个越来越受关注的研究领域,其应用价值已得到了广泛认可,但其中的关键技术目前仍无法满足日益复杂的现实场景需求,具备广阔的研究前景。Meta_Learners 团队将持续深耕,以保持在该领域的竞争力。
Meta-Delta 论文下载地址:
Meta-Delta 系统源码链接:https://github.com/Frozenmad/MetaDelta
百万级文献分析,十万字深入解读
2020-2021 全球AI技术发展趋势报告
报告内容涵盖人工智能顶会趋势分析、整体技术趋势发展结论、六大细分领域(自然语言处理、计算机视觉、机器人与自动化技术、机器学习、智能基础设施、数据智能技术、前沿智能技术)技术发展趋势数据与问卷结论详解,最后附有六大技术领域5年突破事件、Synced Indicator 完整数据。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
原标题:《清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛》
阅读原文