应对四大挑战 华为发布大模型时代AI存储新品

2023-07-14 18:53:58 来源:上海证券报·中国证券网 作者:邱德坤

  上证报中国证券网讯(记者 邱德坤)7月14日,华为针对不同行业、不同场景大模型应用,发布大模型时代AI存储新品——OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机,为基础模型训练、行业模型训练、细分场景模型训练推理,提供存储最优解。

  目前,企业在开发及实施大模型应用过程中面临四大挑战,包括数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

  而OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理;单框5U支持业界最高的400GB/s带宽及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。

  FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。

  同时,FusionCube A3000通过高性能容器,实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上,支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

  “大模型时代,数据决定AI智能的高度。作为数据载体的数据存储,成为AI大模型的关键基础设施。”华为数据存储产品线总裁周跃峰表示,华为数据存储在未来将持续创新,面向AI大模型时代提供多样化方案与产品,携手伙伴共同推进AI赋能千行百业。