万维读者网 > 中国瞭望 > 正文  

最后手段!北京定下“不可能的任务”

www.creaders.net | 2023-05-08 07:46:36  上报 观察者网 | 0条评论 | 查看/发表评论

美国对中国实施的芯片制裁日益严格,促使中国科技公司加快研究步伐,寻求在不依赖美国芯片的情况下,开发最先进的尖端人工智慧(AI)技术,其中包括知名的阿里巴巴、百度及华为等公司。

华尔街日报引述对研究论文的评估,以及对相关员工的采访报道,中国公司正在研究使用相对较少,或较低阶的半导体产品,打造出尖端AI科技的可能性。

同时,他们也在研究如何组合使用不同类型的芯片,以避免对任何单一硬体的依赖。包括华为、百度以及等中国科技龙头,都在设法研究更有效利用现有的电脑芯片。

研究人员及分析师表示,中国企业利用这些变通方法,设法追赶美国AI龙头公司,仍然是很艰难的挑战。然而,部分实验已让人们看到前景,如果这些研究成功,中国科技公司或许能够克服美国制裁令带来的困境,并在面对未来限制时,拥有更强的适应能力。

报道也引述中企员工、AI研究人员以及产业分析师的说法,随著全世界在ChatGPT等聊天机器人的竞赛日益升温,各地公司都急需更强大的芯片,并想方设法更有效地利用芯片,以压低高昂的AI开发成本。

而对中国公司来说,更关键的问题是,美国制裁让他们无法获取辉达(Nvidia)等公司制造的最先进芯片,同时为了跟上聊天机器人的竞赛脚步,他们正在高速消耗现有的美国芯片库存。

去年10月,美国商务部对供应中国的芯片实施出口管制,还可能祭出进一步制裁。美方制裁导致中国企业无法取得辉达A100芯片以及更强大的H100芯片,它们是目前AI开发产业最需要的先进芯片。

辉达设计了“降级版芯片”专供中国市场,分别为A800和H800,以符合制裁要求。这两种修改后的芯片,都降低了芯片之间通讯的能力。

去年11月,OpenAI发布ChatGPT聊天机器人,引发在全球引发生成式AI的开发热潮,但这类AI软体的开发大约需要5000至10000片A100芯片。另据知情人士透露,中国现在大约只有40000至50000片A100芯片,可用于训练大规模的AI模型。

知情人士还说,虽然百度等公司也尝试使用中国国产芯片,像是海光资讯技术(Hygon Information Technology)公司的DCU或华为的AI训练芯片昇腾(Ascend),以及百度自己的崑崙芯(Kunlun)芯片。然而,中国国产芯片对训练庞大的AI模型来说仍然不可靠,因为它们非常容易当机。

新加坡国立大学教授兼AI基础设施公司HPC-AI Tech负责人尤洋表示,如果一家美国公司需要1000个H100芯片来训练一个语言模型,那麽一家中国公司可能需要至少3000个H800芯片才能实现同样的结果,这种组合低性能芯片的方法可能成本很高。

尤洋指出,这正促使中国公司加速开发技术,组合使用不同类型的芯片,来训练大规模的AI模型。许多中国公司正在尝试组合三至四种不太先进的芯片,像是A800以及H800,来替代辉达最先进的处理器。相关论文显示,阿里巴巴、百度与华为都在尝试组合A100、老一代的辉达芯片V100和P100,以及华为昇腾芯片。

AI专家指出,相比之下,组合使用多种类型芯片的情况在美国公司中很少见,因为要让不同类型芯片可靠地协同工作,本身就存在技术挑战,“这是万不得已的最后手段”。

延伸阅读:美国制裁下,中国公司寻求不依赖最先进芯片开发尖端AI

来源:华尔街日报

美国的制裁正促使中国科技公司加快研究步伐,寻求在不依赖美国最先进芯片的情况下开发尖端AI。

《华尔街日报》(The Wall Street Journal)对研究论文的评估以及对相关员工的采访发现,中国公司正研究一些或许能够让它们利用相对较少或没那么强大的半导体打造出尖端AI性能的技术。它们还在研究如何结合使用不同类型的芯片,以避免对任何一种硬件的依赖。

中国通讯设备供应商华为技术有限公司(Huawei Technologies Co.)、搜索公司百度(Baidu Inc, 9888.HK, BIDU)和电商巨头阿里巴巴集团控股有限公司(Alibaba Group Holding Limited, 9988.HK, BABA)等多家公司都在设法更有效利用现有计算机芯片。

研究人员和分析师表示,利用这些变通方法来追赶美国AI领头羊公司仍是一个重大挑战。不过他们说,有些实验已让人们看到了前景,这种研究如果成功推进,中国科技公司或许能够克服美国制裁令带来的困境,并在面对未来的限制时有更强的适应能力。

华为和百度不予置评。阿里巴巴未回应置评请求。

目前将类似ChatGPT的模型商业化的竞赛日益升温,全球各地的公司都急需更强大的芯片,并在想方设法更有效地利用芯片,以压低激增的AI开发成本。

员工、AI研究人员和行业分析师表示,对于中国公司来说,更为关键的问题是,美国的制裁已令它们难以获取英伟达(Nvidia Corp., NVDA)等公司制造的最先进制程芯片,而且为了打造对标ChatGPT的产品,这些中国公司已迅速消耗其现有的美国芯片库存。

Meta Platforms专门研究AI基础设施和大语言模型的AI研究员Susan Zhang表示,从各种迹象可以看出,中国公司正试图发掘一切可以利用的算力,以弥补顶级硬件的缺乏。在AI行业,算力指一组芯片可提供的计算能力。

中国最高决策机构上个月表示,中国应该重视通用人工智能发展,营造创新生态。

去年10月,美国商务部对向中国供应芯片实施了全面限制,此后拜登(Joe Biden)政府已暗示可能实施进一步制裁。

制裁导致中国企业与AI开发行业内最受欢迎的芯片英伟达A100无缘,今年3月份发布的下一代版本H100也是如此。后者提供更强大算力。

美国对半导体出口的限制意味着中国的AI开发者无法再获得该行业最受欢迎的英伟达A100芯片。

英伟达设计了降级版芯片专供中国市场,分别为A800和H800,以符合制裁要求。这两种修改后的芯片都降低了芯片之间通信的能力。

这些产品为开发小型AI模型提供了有效的替代方案,例如字节跳动(Bytedance Ltd.)旗下短视频应用TikTok进行推荐的算法。但这种障碍会扼杀较大型AI模型开发,因为这些模型需要成百甚至上千的芯片进行协作。

美国祭出对华芯片制裁一个月后,OpenAI发布了ChatGPT。ChatGPT的发布在全球引发了一波生成式AI的开发热潮。生成式AI是一种可以生成文本和图像的软件,其开发需要的算力之大前所未有。瑞银(UBS)分析师估计,训练这种大型AI模型需要5,000至10,000块A100芯片。OpenAI没有回应置评请求。

据一位出席会议的人士透露,在最近一次闭门行业会议上,一家与中国政府有关联的半导体行业协会发布的一份调查报告显示出供应方面的限制,发现中国大约有40,000至50,000块A100芯片可用于训练大型AI模型。该协会没有回复记者的置评请求。

据知情人士称,在美国颁布上述制裁令之前储备了A100的阿里巴巴和百度等中国公司,已在内部严格限制使用外国先进制程芯片,将它们留给计算最密集的任务使用。

据《华尔街日报》此前报道,百度向包括自动驾驶部门在内的各个业务团队征用了A100,集中用于推进文心一言(Ernie Bot)的开发。文心一言是百度自己对标ChatGPT的AI产品。

据开源研究论文和知情人士的说法,百度近年来一直在寻求将国产芯片纳入其AI开发,包括海光信息技术股份有限公司(Hygon Information Technology Co., Ltd.)的DCU和华为的AI训练芯片昇腾(Ascend),以及百度自己的昆仑芯(Kunlun)。然而,一些知情人士称,许多国产芯片对于训练大模型来说仍然不可靠,因为它们非常容易崩溃。

百度将其储备的A100芯片集中起来用于开发文心一言。

新加坡国立大学(National University of Singapore)教授尤洋表示,许多中国公司现在正在研究组合三、四块性能相对较差的芯片,包括A800和H800,来替代英伟达最先进的处理器。尤洋运营着AI基础设施公司HPC-AI Tech。

腾讯控股有限公司(Tencent Holdings Ltd., 0700.HK, 简称:腾讯)今年4月份发布了一个新的可用于AI大模型训练的计算集群,这些互联芯片中使用了英伟达H800。

尤洋说,这种组合低性能芯片的方法可能成本很高,如果一家美国公司需要1,000个H100芯片来训练一个大语言模型,那么一家中国公司可能需要至少3,000个H800芯片才能实现同样的结果。

尤洋说,这正促使一些公司加速开发技术,使用不同类型的芯片来训练大规模AI模型。此前这一研究领域在硬件资源有限、渴望降低成本的中国公司中已经很普遍。论文显示,阿里巴巴、百度和华为已在寻求使用A100、老一代英伟达芯片V100和P100以及华为昇腾芯片的各种组合。

AI专家说,相比之下,同时使用多种类型芯片的情况在美国公司中很少见,因为要让不同类型芯片可靠地协同工作存在技术挑战。Meta的Zhang说,这是万不得已的最后手段。

与此同时,中国公司也正在研究使用各种软件技术来降低训练大规模AI模型的计算强度,这种方法已在全球范围内加速推广,包括在美国公司中。不过,论文显示,与美国公司不同,中国公司在结合使用多种软件技术方面更加积极主动。

OpenAI在去年11月推出的ChatGPT引发了全球开发生成式人工智能的热潮。

虽然其中许多方法在全球研究界仍处于不断完善中、难以实施,但中国研究人员已取得了一些成功。

在今年3月的一篇论文中,华为研究人员展示了他们如何利用这种技术,只使用该公司的昇腾芯片而不是英伟达的芯片,来训练其最新一代大语言模型。研究人员在论文中写道,尽管存在一些缺点,但这个名为盘古的大语言模型在处理阅读理解和语法挑战等一些中文任务上都具有最先进性能。

半导体研究和咨询公司SemiAnalysis的首席分析师Dylan Patel说,如果不能获得新的英伟达H100芯片,中国研究人员的痛点只会加剧。H100芯片包括一个额外的性能提升功能,特别有助于训练类似ChatGPT的语言模型。

但去年百度和深圳研究机构鹏城实验室(Peng Cheng Laboratory)的一篇论文显示,研究人员正在以一种不需要该功能的方式训练大语言模型。Patel说,尽管这项研究还处于初期阶段,但看上去前景光明。

他说,如果研究进展顺利,则可以有效地规避制裁。

   0


热门专题
1
美国大选
6
巴黎奥运
11
中国爆雷
2
中美冷战
7
三中全会
12
李尚福出事
3
乌克兰战争
8
中共两会
13
秦刚失踪
4
以哈战争
9
台湾大选
14
火箭军悬案
5
万维专栏
10
李克强
15
台海风云
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2024. Creaders.NET. All Rights Reserved.