早起的鸟儿使用的能量少10倍来训练深度神经网络
赖斯大学的“早起的鸟儿”对蠕虫的关心较少。它正在寻找数百万T的温室气体排放量。
Early Bird是一种用于培训深度神经网络（DNN），无人驾驶汽车，智能助手，面部识别和许多其他高科技应用背后的人工智能（AI）形式的节能方法。
赖斯大学和得克萨斯州农工大学的研究人员于4月29日在国际学习代表大会ICLR 2020上的聚焦论文中宣布了《早起的鸟儿》。赖斯高效智能计算（EIC）实验室的主要作者尤浩然和李朝建的一项研究表明，“早起的鸟儿”可以将DNN训练到相同水平或比典型训练更好的能量，减少了10.7倍的能量。 EIC实验室的负责人Lin Yingyan和Rice的Richard Baraniuk和Texas A＆M的Zhangyang Wang共同领导了这项研究。
Lin说：“最近AI突破的主要动力是引入更大，更昂贵的DNN。” “但是培训这些DNN需要大量的精力。要揭示更多的创新，必须找到既能解决环境问题又能减少AI研究的财务障碍的’绿色’培训方法。”
培训最先进的DNN不仅成本高昂，而且成本越来越高。西雅图的艾伦人工智能研究所（Allen AI Institute）于2019年进行的一项研究发现，训练顶级深度神经网络所需的计算数量在2012年至2018年期间增加了300,000倍，而麻省大学阿默斯特分校的研究人员在2019年进行的另一项研究发现了碳训练单个精英DNN的足迹大约等于五辆美国汽车的终身二氧化碳排放量。
DNN包含数百万甚至数十亿个学会执行特定任务的人工神经元。无需任何明确的编程，人造神经元的深层网络就可以通过“研究”大量先前的示例来学习做出类似人的决定，甚至胜过人类专家。例如，如果DNN研究猫和狗的照片，它就会学会识别猫和狗。经过深入研究的棋盘游戏Go深度网络AlphaGo在研究了成千上万的先前玩过的游戏之后，在2015年击败了职业人类玩家。
赖斯布朗工程学院的电气和计算机工程助理教授林说：“进行DNN培训的最先进方法称为渐进式修剪和培训。” “首先，您要训练密集而庞大的网络，然后删除不重要的部分（例如修剪树）。然后，对修剪后的网络进行重新训练以恢复性能，因为修剪后性能会降低。实际上，您需要修剪和再培训多次以获得良好的性能。”
修剪是可能的，因为网络中只有一小部分人造神经元可以潜在地完成专门任务的工作。训练会加强必要神经元之间的联系，并揭示哪些神经元可以被修剪掉。修剪可减少模型大小和计算成本，使部署经过全面培训的DNN更加经济实惠，尤其是在内存和处理能力有限的小型设备上。
林说：“第一步，训练密集，庞大的网络是最昂贵的。” “我们在这项工作中的想法是在这个昂贵的第一步的开始阶段，确定最终的，功能齐全的修剪网络，我们将其称为“早鸟票”。
通过在训练的早期阶段寻找关键的网络连接模式，Lin和同事们既发现了早鸟票的存在，又使用它们简化了DNN训练。在对各种基准数据集和DNN模型进行的实验中，Lin及其同事发现，“早起的鸟儿”在训练初期可能只出现十分之一或更少的时间。
林说：“我们的方法可以在密集的巨型网络训练的前10％或更少的时间内自动识别早鸟票。” “这意味着您可以训练DNN，以给定任务在大约传统训练所需时间的10％或更少的时间内达到相同或什至更好的精度，这可以节省大量的计算和能源。”
开发使AI更环保的技术是Lin团队的主要重点。关注环境是主要动机，但林说有很多好处。
她说：“我们的目标是使AI更加环保，更具包容性。” “复杂的AI问题的庞大规模使较小的参与者望而却步。绿色AI可以打开大门，使研究人员可以用笔记本电脑或有限的计算资源来探索AI创新。”
其他合著者包括得州A＆M的徐鹏飞，付永干和王悦，赖斯和陈晓涵。
该研究得到了美国国家科学基金会（1937592，1937588）的支持。
有所作为：赞助机会
故事来源：