就像畴昔所有公司齐在你追我赶的「上云」，当今所有公司齐在问，怎样才气用上大模子？

不少公司不时推出不同的大模子，来匡助企业参预到这个 AI 的新时期。

要是说大模子代表的「算法」、GPU 代表的算力齐在因为大模子而不时进化时，在数据方面，尤其是数据存储方朝上，业界目下还莫得更好的决策，来科罚大模子时期数据的存储、历练和传输。

皇冠客服飞机：@seo3687

7 月 14 日，在华为盘古 Chat3.0 发布一周后，华为数据存储发布了新产物 OceanStor A310 和 FusionCube A3000，两款产物区别在深度学习数据存储，以及训（练）/推（理）交融才略上进行了提高，有望进一步裁汰 AI 大模子的使用门槛。

「要是用东谈主类进化历史作念譬如，大脑肖似于算力、算法肖似于时势论，而笔墨肖似于数据，有了笔墨，才气传承时髦。」

华为公司副总裁，数据存储产物线总裁周跃峰如斯样式算力、算法和数据，三个在 AI 时期最裂缝的元素的关系。

在大模子为代表的新的 AI 时期，算力和算法在快速推动，这就对数据也建议了更高的要求——一方面大模子需要的数据量更大，一方面数据存储需要更好的配划算力，幸免让 GPU「欢然」花消算力资源和资本。

华为团队觉得，大模子时期存储的时期挑战有两个：

皇冠体育hg86a

1）数据准备阶段的问题，包括数据归集慢以及数据预处理周期长。

数据归集需要从跨地域的多个数据源拷贝原始数据，这些原始数据不可告成用于 AI 模子历练，需要将千般化、多时势的数据进行清洗、去重、过滤、加工，无数的数据预处理责任需要耗用无数的 GPU，咱们知谈 100 个 GPU 每小时的历练资本是几十万，不错用「近存计较时期」系统性地处理这个问题，从而让通盘系统更高效。

2）历练集加载遗弃问题和历练中断处理。

伯恩利官网写道：“很高兴能告诉大家，球队已经在4月底向EFL提交了财务审计账目，这意味着球队的转会禁令即刻起将正式解除，接下来球队可以在转会市场进行补强。”

相较于传统深度学习模子，大模子带来历练参数、历练数据集呈指数级增多，怎样杀青海量的小文献数据集快速加载，裁汰 GPU 恭候时期齐是需要厚爱酌量的问题。同期，主流历练模子依然有千亿级参数，致使将发展至万亿级。

AI 大模子历练不安详，频繁的参数调优、奇迹器故障或者收罗的故障经常酿成中断，需要 Checkpoint（搜检点）机制确保历练粗略快速复返。

针对上述痛点，华为团队推出了 OceanStor A310 和 FusionCube A3000 两款产物：

1）OceanStor A310 深度学习数据湖存储

为智能数据而生，杀青从数据归集、预处理到模子历练、推理当用的 AI 全历程海量数据不竭。

应用全局文献系统 GFS 构建智能的数据编织才略，接入散布在各地域的原始数据，杀青跨系统、跨地域、跨云的全局融合数据视图和诊疗，简化数据归集历程；

通过存储内嵌的算力杀青近数据的预处理，减少无效数据传输，同期裁汰预处理奇迹器恭候时期，预处理遗弃提高 30%。

2）FusionCube A3000 训/推超交融一体机

面向十亿级模子应用，集成存储节点、训/推节点、交换开导、AI 平台与不竭运维软件，可杀青一站式快速部署，通过预置 AI 大模子，2 小时即可完成开局，开箱即用。

高性能容器杀青 GPU 分享，提高资源应用率。客户不错在边际部署全历程的推理业务，况且每周或每月进行一次模子调优，这就需要多应用交融诊疗，大模子小模子交融诊疗。

通过容器应用分享 GPU 资源池，资源应用率不错达到 70% 以上。

不久前 Snowflakes 的年度大会上，这家着名数据平台公司晓示了和英伟达达成相助契约，将在大模子历练等范围进行深度相助。

英伟达的 GPU 号称是大数据时期的「新核弹」，从某种酷好酷好酷好酷好上说，谁能拿到敷裕多英伟达的 GPU，就在算力上获得了上风。

但这件事还有另一个角度。

现时计较机体捆绑构依然所以 CPU 计较芯片为代表传统的冯·诺依曼架构，而 GPU 是针对 AI 场景定制的芯片，CPU 和 GPU 速率差可达 4-20 倍以上。

这带来的最大的问题是大多数情况下 CPU 跟不上 GPU 的处理速率，这么就会永劫期使得 GPU 处于饥饿状态，导致奋力的 GPU 资源花消。

华为苏黎世筹备所存储首席科学家张霁浮现，团队正在筹备怎样应用近存计较/存内逻辑的才略，在海量 AI 数据存放的源流进行适当的计较逻辑的卸载，开释 CPU 的部分才略，裁汰 CPU 和GPU的遗弃差，进而提高 GPU 的处理遗弃。

这意味，要是在数据存储端，就能把一些预处理的责任完成，就能削弱 CPU 的压力，进而让 CPU 和 GPU 能更高效的相助，提高 GPU 的处理遗弃。

尤其在目下 GPU 算力相对紧缺确当下，数据存储端要是能和 GPU 产生「互补」，无疑是一件功德。

周跃峰觉得，目下大模子算力资本约占通盘资本的 25%，而数据清洗、预处理等责任，在不算数据存储硬件的情况下，占到资本 22%，从这个角度看，数据机器存储过程，在大模子时期越来越裂缝。

「这不单是是肤浅的数据量变大，而且数据的处理过程，以及过程中关于硬件性能的要求越来越高。」

周跃峰觉得，跟着大模子出现，数据存储和处理关联范围将来会越来越有出路。

本文作家：靖宇皇冠售后服务电话，开始：极客公园 (ID:geekpark)，原文标题：《盘古大模子除外，华为首秀大模子时期「硬实力」》