文 丨 新浪科技 周文猛kaiyun.com-开云官网登录入口(中国)官方网站
在检修东谈主工智能大模子的进程中，采购超等计较服务或存储器，也正在成为有用缓解算力颤抖的新路子。
近日，中国工程院院士、清华大学计较机系素质郑纬民在与新浪科技调换中指出，“昔时检修一个大模子要插足几十亿，但如果把大模子检修拿到超算上去作念，价钱只需要用到英伟达的六分之一。”
此外，郑纬民还指出了一种全新的AI推剪发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake时期框架为例，先容了该时期基于“以存换算”念念路，匡助月之暗面kimi智能助手缓解算力垂危需求的旨趣，从而幸免服务器宕机。
“把大模子检修搬到超算上，价钱只需英伟达1/6”
郑纬民看到，在经过ChatGPT发布后全球各科技企业快速追逐后，本年大模子有两个秉性：第一，基础大模子进入多模形色态，不独一文本，还有图像、视频等；第二，简直用起来了，大模子正与各行业本色的结合，比如大模子+金融，大模子+医疗、大模子+汽车、大模子+智能制造等。
“大模子简直在与国民经济GDP、跟东谈主们的生流水平密切结合，我一直以为基础大模子咱们的水平跟好意思国比照旧差少量，但‘大模子+’这件事，咱们照旧有但愿特出好意思国的。”郑纬民示意。
然则，大模子确凿的应用进程中，在触及数据获得、数据预处理、模子检修、模子微调、模子推理等五个要领在内的全人命周期中，却需要多量的算力资源。怎样以更低的老本获得愈加高效、更高可靠的AI大模子算力资源，成为每家企业齐在念念考的问题。
迫于外洋高端芯片获得的难题，现在国内为得志AI大模子检修带来的海量算力需求，主要发展出的一种科罚念念路是：通过搭建千卡、万卡集群，通过海量芯片半导体堆叠，采购多家厂商的芯片进行异构卡联接检修，来得志我方大模子产物检修的海量算力需求。但在郑纬民看来，这种形式虽能科罚算力紧缺问题，但也存在一些时弊。
当先，关于构开国产万卡系统，建成天然热切，但用好却很难。郑纬民以我方作念高性能计较的切身履历身材力行谈：“建一个2000卡的系统，其中1000块用英伟达芯片，另外1000块用其他厂家的，系统建成也启动起来了，但最终发现这些芯片性能不一，有的身手小少量，有的身手大少量，一个任务下来分红2000份，还要给其中1000个芯片分小少量的任务，另外1000个分大少量的任务，这照旧静态的，如果是动态的，则径直分红了2000份最小的进行处理，性能很低。”
郑纬民指出，大范围算力集群拓荒进程中存在木桶效应，有的计较卡本领强，有的则弱，就像所有这个词桶装若干水最终是由短板决定的，板子再长也莫得用。“是以1000个老GPU和1000个新GPU合起来，性能比2000个老GPU性能还低少量，作念大范围算力集群的老本也挺大。”
在郑纬民看来，进行大范围异构卡联接检修，在静态环境下想要完了最高的性能很难，并不合算，如果再触及他乡卡，就会更难，数据从北京传到贵州，贵州作念出来限度再送到上海，这中间触及的时期老本极高。“钱少的东谈主不需要作念，钱多的东谈主不错试试。”
郑纬民提倡企业尝试聘请超算来进行AI大模子检修。“我国有14亿超算系统，钱齐是国度付的，有的机器还有少量裕如，因为国内超算机器收费低廉，不像英伟达要把机器老本收纪念还要收货，是以巨匠作念大模子检修到青岛神威超算上作念，六分之一的价钱就够了。”郑纬民示意。
“以存换算，大要有用镌汰AI推理老本”
事实上，大模子确凿的应用进程中，在触及数据获得、数据预处理、模子检修、模子微调、模子推理等五个要领在内的全人命周期中，需要多量算力资源的同期，也需要有着多量的存储资源，用于存储海量计较限度。尤其在模子推理进程中，怎样存得多、传得快、性价比高，成为所有这个词行业齐在共同念念考的问题。
此前，郑纬民曾公开说起，“AI存储是东谈主工智能大模子的要害基座，存储系统存在于大模子人命周期的每一环，是大模子的要害基座，通过以存强算、以存换算，先进的AI存储大要栽植检修集群可费用，镌汰推理老本，栽植用户体验。”
在与新浪科技调换中，郑纬民共享了“以存换算”的基开心趣。他指出，“大模子岂论是检修照旧推理，齐需要很大的算力，同期也需要许多存储，用来存储大模子检修出来的海量参数，以及推理进程中产生的一些进程数据。”然则，如果所有这个词检修或推理进程中需要存储的数据越来越多，这会导致存储器资源紧缺，最终反而又会成为大模子性能栽植的“包袱”。
据郑纬民先容，为科罚上述问题，清华大学想了两个目的：第一，在推理进程当中，现在主若是推理卡服务，主机CPU跟主机存储器是毋庸的，因此，不错想目的把主机上的存储用具到推理进程中，栽植了存储器讹诈率，性能栽植的同期，也检朴了束缚购买推理卡的资金老本；第二，将推理进程中产生的共性的、用户共用的内容存储起来，通过存储必要推理进程中产生的数据，当后续碰到相通问题的时候径直调用，径直省去了每次碰到相通问题时推理进程，栽植了后果，同期检朴了资源。
郑纬民以清华大学与月之暗面共同研发的Mooncake时期框架为例先容指出，“通过将不同用户与Kimi对话的大家内容索求出来，存储下来，这不仅减少了每次用户发问齐要从头生成的进程，检朴了许多算力卡，也减少了kimi因拜访过大导致的‘拜访蔓延’或‘宕机’等问题。”
海量资讯、精确解读，尽在新浪财经APP
服务裁剪：李昂 kaiyun.com-开云官网登录入口(中国)官方网站