锦州信息港
健康
当前位置:首页 > 健康

AI正在改变整个计算的本质出世

发布时间:2020-09-25 13:43:55 编辑:笔名
AI正在改变全部计算的本质

从芯片到软件再到,计算领域将在未来几年内因机器学习的普及而产生巨大变化。我们可能依然将这些计算机称为“通用图灵机”正如我们已有八十年或更长时间。但在实践中,它们将与迄今为止构建和使用的方式不同。

任何关心计算机工作的人以及对所有形式的机器学习感兴趣的人都会感兴趣。

今年2月,Facebook负责人工智能研究的负责人Yann LeCun在旧举行的国际固态电路会议上发表了演讲,该会议是世界上运行时间最长的计算机芯片会议之一。在ISSCC,LeCun明确了计算机技术对人工智能研究的重要性。

“硬件功能和软件工具既鼓励又限制了AI研究人员想象并将允许自己寻求的想法类型,”LeCun说。“我们所掌握的工具比我们承认的更能影响我们的想法。”

不难看出情况是怎样的。从2006年开始,深度学习的兴起不仅是由于大量数据和机器学习中的新技术,例如“停学”而且还因为计算能力愈来愈强。特别是,越来越多地使用来自Nvidia的图形处理单元或“GPU”致使计算的更大并行化。这使得对比以往更大的网络的培训成为可能。20世纪80年代提出的“并行分布式处理”的条件,即人工网络的节点同时被训练,终究成为现实。

一些人认为,机器学习现在有望接收世界上大部分的计算活动。在2月份的ISSCC期间,LeCun 向ZDNet讲述了计算方向的变化。LeCun说:“如果你走了五年,未来十年,你会看到计算机花费时间做些甚么,大多数西部的污染趋势似乎不可避免。情况下,我认为他们会做一些像深度学习这样的事情 - 就计算量而言。” LeCun补充说,深度学习可能没法通过收入占据计算机的大部分,但是,“就我们如何每秒花费我们的毫瓦或我们的而言,他们将花在神经网络上。”

随着深度学习成为计算的焦点,它正在推动现今计算机能够做到的界限,在某种程度上推动神经网络进行预测的“推理任务”但对于训练神经网络更是如此,计算密集型功能。

诸如OpenAI的GPT-2之类的现代神经网络需要并行训练超过十亿个参数或网络权重。作为Facebook的热门机器学习培训库PyTorch的产品经理,5月份告知ZDNet,“模型愈来愈大,它们真的非常大,而且培训本钱非常高。” 如今最大的模型通常不能完全存储在GPU附带的存储器电路中。

计算周期的需求速度愈来愈快。根据OpenAI的数据,早在2012年创建的令人尊敬的AlexNet图像辨认在总培训时间内耗费了相当于每秒1000万次浮点运算的“千万亿次浮点运算”总时间达到一天。但AlphaZero是由谷歌的DeepMind在2016年建立的神经网络,它击败了世界上的国际象棋冠军,并且每秒消耗超过一千天的千万亿次飞越。AlexNet和AlphaZero之间计算周期的增加使得每3.5个月的计算消耗量翻了一番。这是2016年收集的数据。到目前为止,步伐无疑会增加。

计算机芯片危机

世界甚至没有佩戴千万亿次。用于深度学习培训的顶级芯片,如Nvidia的Tesla V100,每秒运行112万亿次。因此,你必须运行其中的八天1000天,否则将许多人聚集成一个耗费愈来愈多能量的。

更糟的是,近年来芯片改进的步伐已经触底。正如加州大学伯克利分校教授大卫帕特森和英国航空公司董事长约翰轩尼诗在今年早些时候的一篇文章中所指出的那样,摩尔定律,即每十二至十八个月芯片功率增加一倍的经验法则,已经耗尽了气体。英特尔长期以来一直否认这一点,但数据是帕特森和轩尼诗的一面。正如他们在报告中提到的那样,芯片性能现在每一年仅增长3%

这两位都认为,这意味着芯片的设计,尽人皆知,它们的架构必须完全改变,以便从不会产生性能优势的晶体管中获得更高的性能。帕特森帮助谷歌创建了“Tensor Processing Unit”芯片,因此他对硬件如何影响机器学习非常了解,反之亦然。

由于处理器的改进停滞不前,但机器学习需求每隔几个月翻一番,就必须付出代价。使人高兴的是,如果以正确的方式看待,机器学习本身可以成为芯片设计的福音。因为机器学习需要很少的遗留代码支持 - 它没必要运行Excel或Word或Oracle DB - 并且由于其最基本计算的高度重复性,机器学习是一种绿地机会,正如他们所说的,对芯片设计师。

建造一台新机器

主导AI培训的Nvidia和其CPU主导机器学习推理的英特尔都试图调整他们的产品以利用那些原子线性代数函数。Nvidia为其Tesla GPU添加了“张量核心”以优化矩阵乘法。英特尔已花费300亿美元收购那些从事机器学习的公司,包括Mobileye,Movidius和Nervana Systems,其中最后一个应该在某个时候致使“Nervana神经网络处理器”虽然有延迟。

到目前为止,这些举措并不能满足机器学习的需求,例如Facebook的LeCun。在2月与ZDNet聊天期间,LeCun认为,“我们需要的是竞争对手,现在,你知道,主导供应商【Nvidia】” 这不是因为,他说,Nvidia没有做出好的。这是“因为他们做出了假设,”他继续说道,“而且拥有一套不同的硬件可以用来做当前GPUS善于的补充事物,这是不错的选择。”

他说,其中一个有缺陷的假定是假定训练神经网络将是一个可以操作的“整齐阵列”的问题。相反,未来的网络可能会使用大量的网络图,其中神经网络的计算图的元素作为指针流式传输到处理器。LeCun表示,芯片必须进行大量的乘法增加,但对如何将这些乘法增加出现给处理器的期望不同。

作为TPU芯片贡献者之一的谷歌软件工程师Cliff Young,去年10月在硅谷举行的芯片活动上发表了主题演讲时更直言不讳。“很长一段时间,我们都拒绝了,并说英特尔和Nvidia非常善于构建高性能,”Young说。“五年前我们超出了这个门槛。”

创业公司的突起

在这个漏洞中,新的芯片来自谷歌等人工智能巨头,还有一大批风险投资支持的创业公司。

除谷歌的TPU,现在已进行了第三次迭代,微软还有一个可编程处理器,一个名为Project Brainwave的“FPGA”客户可以通过其Azure云服务租用它。亚马逊表示,它将在今年晚些时候推出自己的定制芯片,名为“Inferentia”当LeCun在2月份与ZDNet谈话时,他提到Facebook有自己的。

“固然,像谷歌和Facebook这样拥有大量产品的公司,对你自己的引擎工作是有道理的,”LeCun说。“这方面有内部活动。”

创业公司包括Graphcore,一家位于布里斯托尔的五年创业公司,一个位于伦敦西南一个半小时的港口城市; Cornami,Effinix和Flex Logix,所有这些都是由ZDNet描写的; 和硅谷的洛斯阿尔托斯的Cerebras公司依然处于秘密模式。

许多这些初创公司都有一个共同点,那就是大大增加用于矩阵乘法的计算机芯片区域的数量,即MAC单元,以便在每一个时钟周期内挤出最多的并行化。Graphcore是所有初创公司中最远的,是第一个真正向客户发送生产芯片的公司。关于它的第一个芯片最引人注目的事情之一是大量的内存。为了记念世界上第一台数字计算机,Colossus 被称为芯片,面积巨大,面积为806平方毫米。首席技术官Simon Knowles称其为“迄今为止最复杂的处理器芯片”

Colossus由1,024个被称为“智能处理单元”的独立核心组成,每个核心都可以独立处理矩阵数学。尽人皆知,每一个IPU都有自己的专用内存,256千字节的快速SRAM内存。总共有304兆字节的内存是芯片中最经常使用的内存。

软件困难

对所有这些芯片的努力,问题当然是由于该公司的“CUDA”编程技术,他们没有为Nvidia建立多年的软件。Graphcore和其他人的答案将是两重的。一个是用于机器学习的各种编程框架,例如TensorFlow和Pytorch,了一种避免芯片本身细节并专注于程序结构的方法。所有进入市场的芯片都支持这些框架,他们的创造者认为这些框架与Nvidia的竞争环境。

第二点是Graphcore和其他人正在构建自己的编程技术。他们可以证明他们的专有软件既可以转换框架,也可以智能地将并行计算分配给芯片上的众多MAC单元和向量单元。这就是Graphcore为其“Poplar”软件所做的论证。Poplar将神经网络的计算图分解为“codelets”并将每个codelet分配到Colossus的不同核心,以优化并行处理。

在过去的2十年中,大数据和快速并行计算成为常态,推动了机器学习,带来了深度学习。下一波计算机硬件和软件可能触及大量内存和神经网络,这些内存和神经网络受到动态限制,以利用高度并行的芯片架构。未来看起来很有趣。

延伸 · 推荐

谷歌工程师:机器学习论文18个月倍增,AI爆发带来“超级摩尔定律”

内容/zdnet.com【新智元导读】在硅谷个芯片研讨会上,谷歌软件工程师Cliff Young指出AI的式发展正在改变计算的本质,摩尔定律堕入停滞,而AI对计算需求的增长构成了超级摩尔定律”:arX...

.special_tag_wrap{clear:both;padding-top:40px;} .special_tag{padding:0 0 23px;border-top:1px solid #ddd;border-bottom:1px solid #ddd;} .special_tag a,.special_tag a:visited{color:#0f6b99;text-decoration:underline;} .special_tag_ttl{position:relative;top:-12px;float:left;padding:0 10px 0 0;background:#fff;font:18px/20px 微软雅黑;} .special_tag_cnt{clear:both;color:#888;font:16px/30px 微软雅黑;} .special_tag_tj .special_tag_ttl{color:#f33;} .special_tag_bk .special_tag_ttl{color:#1d87e4;} .special_tag_bj .special_tag_ttl{color:#96369f;} .special_tag_hg .special_tag_ttl{color:#f68b2d;} .special_tag_gd .special_tag_ttl{color:#09aa46;} 卡片销量很好
软肝片全疗程用药的注意事项
复方鳖甲软肝片效果好不好
早期治疗肝硬化的药物
哪种软肝药效果好
友情链接