首页 资讯 正文

有没有更环保的方式来训练AI?

Omri Geller 2021年02月25日 01:20

机器学习正在改变世界,并且正在快速改变它。在过去的几年中,它为我们带来了 虚拟助手,他们能够理解语言, 自动驾驶汽车, 新药发现, 基于AI的医学扫描分类, 手写识别等。

机器学习不应该改变的一件事就是气候。

这个问题与机器学习的发展方式有关。为了使机器学习(和深度学习)能够准确地做出决策和预测,需要对其进行“培训”。

想象一下一个在线销售鞋的市场,人们试图在网站上出售其他商品(自行车,猫和剧院门票)时遇到了麻烦。市场所有者决定通过构建可识别鞋子照片的AI并拒绝图片中没有鞋子的任何列表来将网站限制为仅鞋子。

该公司收集了成千上万张鞋子的照片,以及不穿鞋子的类似数量的照片。它雇用数据科学家来设计复杂的数学模型并将其转换为代码。然后他们开始训练他们的鞋检测机器学习模型。

这是至关重要的部分:计算机模型会查看鞋子的所有图片,并尝试找出使鞋子“发亮”的原因。非鞋子图片没有什么呢?无需太费劲地浪费技术细节,此过程需要大量的计算资源和时间。训练精确的机器学习模型意味着在对模型进行训练,调整和完善后,可以全天候,连续24周或数月全天候运行多个芯片(如GPU)。

除了时间和金钱,人工智能培训还消耗大量精力。现代计算机芯片闲置时仅使用最小的功率,但是当它们满负荷工作时,它们可能会通过电燃烧,产生大量的废热(还需要使用冷却系统将其抽出,是的,使用更多的能量) )。

任何主要的能源使用都会对气候变化产生影响,因为我们的大部分电力仍来自化石燃料,燃烧时会产生二氧化碳。一个 最近的一项研究从马萨诸塞大学声称,培养一个高级语言处理AI产生的CO2 626,000lb,相同数量的五辆汽车会产生在其一生!

实际上,加拿大蒙特利尔学习算法研究所(MILA)的一个团队于去年12月发布了 机器学习排放计算器,以帮助AI领域的研究人员估算训练他们的机器学习模型时会产生多少碳。

随着数据科学家和工程师通过向他们投入更多的精力,使用更大,更昂贵的计算来解决难题而不是专注于效率来解决更复杂的AI问题,这一问题变得越来越严重。

GPT-3是OpenAI最近发布的基于AI的语言模型,它在45 TB的文本数据上进行了培训(英语Wikipedia的全部内容涵盖600万篇文章, 仅占其培训数据的0.6%)这种功能强大的机器学习技术的成本仍然未知。

公平地说,其他计算过程也处于令人担忧的轨道上。ICT专家Anders Andrae的一项 研究发现,根据他最乐观的预测,到2030年,提供Internet,视频,语音和其他云服务的ICT行业将占全球能源总需求的8%,而他的现实预测将这一数字提高到21%-数据中心使用了三分之一以上的数据。

马萨诸塞州大学为减少AI培训而造成的浪费的一项 重要建议是“工业界和学术界共同努力促进对计算效率更高的算法以及需要更少能源的硬件的研究”。

也可以使用软件来提高硬件效率,从而降低AI模型所需的计算能力,但最大的影响可能来自数据中心本身对可再生能源的使用。据说, Facebook的 丹麦欧登塞数据中心完全使用可再生能源。Google拥有自己的节能数据中心,例如位于芬兰哈米纳的一个数据中心 。

从长远来看,随着世界工业经济摆脱化石燃料的使用,计算负荷与二氧化碳生产之间的联系可能会被打破,并且所有机器学习都将实现碳中和。甚至更长期,更深入的天气和气候模式学习也可以帮助人类更好地了解如何应对甚至逆转气候变化。

但是在此之前,负责任的企业应考虑其新技术(包括机器学习)的碳影响,并采取措施通过提高开发,软件和硬件的效率来衡量其模型开发的碳成本。