要容量，也要性能！AI大模型岂能被数据存储拖后腿？
近期,英伟达在COMPUTEX 2024上发布GPU、CPU、NVlink、NIC网卡以及交换芯片的技术路线。业内人士认为,从这次发布会看,英伟达已将重心放在优化性能上。尤其是最为基础的数据存储与处理方面,还有较大空间。
事实上,从ChatGPT到Sora,再到当前国内众多实力出众的大模型,一次次刷新人们对人工智能和大模型的认知。但是大家也看到,大模型参数指数级的增长,正在前所未有地考验着传统的数据底座。
作为支撑大模型的底座“三大件”——算力、网络、存储,在这种海量数据面前,也在被迫加快迭代的速度。例如在算力方面,英伟达用了两年的时间就将GPU从H100升级到了H200,让模型的训练性能提升了5倍。在网络方面,从之前的25G升级到现在的200G,网络带宽提升了6倍,随着RDMA大规模的应用,网络延迟也降低了60%。华为也在最近悬红200万,存储技术、新型数据底座两大方向寻求突破。
尤其在数据储存方面,容量和性能必须双双过硬。因为一方面,大模型储存单元需要能够承载海量数据;另一方面,存储性能必须跟上计算资源——避免因为数据传输瓶颈造成高昂计算资源的浪费,或是吞吐量瓶颈导致更长的训练时间。
在这方面,基于web3.0的分布式存储或许提供了一种鱼和熊掌兼得的新方案。例如永旗(北京)科技有限公司(以下简称“永旗科技”)基于Web3.0分布式存储技术打造的“世界硬盘”,突破不可能三角,将单链单通道稳定在了20万TPS,200万QPS,并行模式理论上无上限,打破了区块链的性能瓶颈,在数据容量和性能上大幅领先于传统的数据存储。
另外在性能上,世界硬盘基于内容寻址的资源快速定位,访问速度更快,可在就近节点获取被验证的可信的数据。同时可实现多节点验证后同时传输数据,效率更高。
可以说“世界硬盘”这种新一代碎片化存储产品,为大规模数字化发展,提供安全、高效、低廉的数据存储技术服务,可以助力大模型发展甩掉传统数据存储中的各种包袱,奔赴山海。
