解决AI工厂数据堵点，NetApp打通AI全流程存储链路

很多企业搭建AI训练流水线的解决时候，都遇到过非常矛盾的工厂状况：花大价钱采购了几十上百张高性能GPU，算力指标看起来非常亮眼，数据实际跑起来GPU利用率却一直上不去，堵点打通大部分时间都在等数据加载，全流最后算下来整体投入的程存储链产出比远低于预期。近期NetApp针对AI工厂场景推出的解决全链路存储优化方案，就是工厂专门解决这类“数据堵点”，让海量训练数据集能顺畅地在AI流水线里流转，数据把GPU的堵点打通真实算力彻底释放出来。

AI工厂的全流存储痛点，和传统IT场景完全不一样。程存储链传统存储优化大多盯着单一大文件的解决顺序读带宽，觉得只要带宽足够高，工厂AI训练就不会卡。数据但真实的AI流水线里，从原始数据清洗、标注、特征工程，到后续的大模型训练、微调、推理部署，整个流程里同时跑着几十种完全不同的存储负载：预处理阶段有上亿个几十KB级别的小文件随机读写，训练阶段有几千张GPU并发的高带宽顺序读，推理阶段有高频的KV缓存随机访问，不同类型的负载挤在同一套存储系统里，很容易互相打架，最后导致整个流水线的效率被拖垮。

NetApp的方案首先从底层架构入手，针对AI工厂最头疼的海量小文件场景做了专门优化。它把传统分布式存储里最容易成为瓶颈的元数据服务做了分布式拆分，哪怕整个数据集的文件数量达到几十亿级别，也不会出现元数据服务CPU跑满、读取延迟飙升的问题。之前很多团队遇到的“训练开始前扫描数据集要等几十分钟”“小文件读取延迟高导致GPU频繁空等”这类问题，经过优化之后都能得到明显改善，小文件场景下的整体IOPS吞吐能力比传统存储方案提升好几倍。

针对AI全流程的数据流转，这套方案还做了分层数据调度设计。它会自动识别不同数据的访问热度：正在训练的高频热数据，自动放在最高速的存储层里，给GPU提供足够高的读取带宽，保证几千张GPU同时并发读的时候，不会出现带宽争抢；已经跑完训练的中间特征数据，自动下沉到性价比更高的大容量存储层；几个月都没访问过的冷数据集，自动归档到低成本的对象存储里，不用人为手动做数据迁移。整个过程完全自动化，不用运维人员天天盯着数据冷热状态调整存储资源，大幅降低AI基础设施的运维负担。

更重要的是，这套方案还能和主流的AI训练框架、MLOps平台实现无缝对接。开发者不用修改自己已经跑成熟的训练代码，也不用更换现有的AI开发工具链，直接对接存储提供的标准POSIX接口，就能直接使用所有优化后的性能，几乎没有额外的学习成本和迁移成本。同时它还自带全链路的数据版本管理能力，每一次数据集的迭代版本、每一次训练生成的模型快照，都能自动完成留存和快速回溯，后续做模型效果对比、问题排查的时候，不用再到处找散落的历史数据，大幅提升AI研发团队的工作效率。

目前这套针对AI工厂的存储优化方案已经在大量头部AI企业落地，很多团队部署之后，GPU的平均利用率从之前的不到50%提升到了80%以上，原本要跑几天的大模型训练任务，整体周期直接缩短了近三分之一。后续NetApp还会持续针对AI流水线的新需求迭代存储能力，帮更多企业把投入的算力资源真正用起来，不用再为存储瓶颈浪费宝贵的AI算力资源。

最新评论