AI大模型时代,数据存储新基座助推教科研数智化跃迁


生成式AI(AIGC)开启了人工智能通用化的新纪元,围绕大模型的百舸争流蔚为壮观,算力基础设施是首要的竞逐焦点,而存力觉醒也日益成为业界共识。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在新的时代,大模型从单模态走向多模态,参数和训练数据集的规模呈几何级数增长,海量的非结构化数据需要高性能混合负载能力的支撑;与此同时,数据密集型范式大行其道,超算、高性能计算(HPC)等应用场景迈向纵深,既有的数据存储基座已难以满足不断升级的需求。

如果说算力、算法、数据是驱动人工智能发展的“三驾马车”,那么在外部环境发生巨大变化的背景下,三者亟需重新达成动态的平衡。算法模型完善带来的“软实力”提升,算力供给优化引发的“硬实力”增强,需要得到进一步的加持——数据传输的“运力”和数据存储的“存力”即是尚待改进的动力源,新型的数据存储基座将在应对诸多挑战的过程中破茧成蝶。

需求复杂且持续进化的应用场景,是数据存储新基座最好的试金石。从这个意义上讲,教科研行业就是其中的典型代表:算力与数据是该领域数字化转型的关键要素,学科融合的科研计算与基于数据的决策支撑同等重要。从HPC迈向HPDA(高性能数据分析)是改善教学及科研效率的一大步,而AI的赋能则有助于解决过往算不了、算不准、算不动的难题。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

在近日举办的2025世界人工智能大会上,华为OceanStor Pacific分布式存储助力上海交通大学构建的HPC+AI存力底座正式上线,“交我算”统一数据基座将在今年再扩充25PB,其有望成为教科研数字化、智能化转型的新标杆,也为数据存储新基座的探索之旅树立了一座里程碑。

数据与算力的关系演变与衍生挑战

伴随千行百业的数字化转型进入深水区,以及人工智能、大数据等新兴技术的协同爆发,数据与算力的关系正在发生微妙的变化。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

教科研领域身处数字经济的风口浪尖,对这一变化颇为敏感。过去,数据必须跟着算力跑。为了应对复杂科学和工程问题的快速数值求解,教科研界在很长一段时间里更多关注如何打造最强大的算力,而数据仅作为算力的配套设施来考虑。

如今,“算力围着数据转”逐渐成为新的趋势。新兴应用的涌现、数据体量的膨胀、数据安全问题的凸显,让数据本身的价值备受重视。基于AI、大数据等技术的突破,传统超算正向数据密集型超算演变,多元异构算力需要围绕同一个数据存储基座进行构建。

上海交通大学网络信息中心副主任林新华认为,数据与算力的主导权发生逆转,既是建设数据密集型超算平台的契机,也给统一数据存储基座的构建带来不少新的挑战。

首先是数据爆发式增长,对存储容量的需求显著提高。据统计,“交我算”平台的数据规模增长幅度达到每年7PB,气象海洋、能源勘探、卫星遥感、基因测序、冷冻电镜、AI自动驾驶、制造CAE、动画渲染等应用场景的数据量都达到PB级,用一套数据基础设施容纳如此庞大的数据量殊为不易。

其次是新业务不断涌现,对存储性能要求更高。AI通用化进程的提速,特别是大模型、多模态的批量输出,对IO性能构成严峻挑战。在百TB级数据集成为常态的情况下,自然语言处理、多模态应用加剧了数据量的增速,小文件训练数据集的高效访问更要求存储性能再上新台阶。

再次,跨校区多集群存储共用,数据在异构集群间的流动可能造成数据丢失、运行缓慢等问题。“交我算”平台提供多种异构算力,拥有ARM集群、X86集群以及AI集群等。在众多集群中,只有做到全数据流动和数据融合,才能释放算力和数据的最大价值。

最后,传统AI本地盘训练,伴随高并发数据分析,打破IO墙迫在眉睫。数据多次搬迁过程中的IO瓶颈非常突出——传统的读写流程冗长,加载数据涉及三次数据搬迁,checkpoint也有两次数据搬迁,其间产生的效率损失不容忽视。

分布式存储统一融合数据基座的突围路径

为了应对上述挑战,自2019年起,上海交通大学与华为存储展开深度合作,共同打造“交我算”数据密集型超算平台。依托在技术和应用创新方面的深厚积累,华为OceanStor Pacific分布式存储产品助力“交我算”建设统一数据基座,支撑起全校多种异构算力平台。

AI大模型时代,数据存储新基座助推教科研数智化跃迁

构建分布式统一融合数据基座,是“交我算”拥抱新兴数据应用的必由之路。基于横向扩展分布式存储架构,“交我算”平台的存储容量和带宽可按需扩展。一是性能容量线性增长,单集群可达EB级容量;二是借助高密大容量硬件,节省机柜空间;三是采用大比例EC,以场景化压缩提升磁盘利用率。

据了解,“交我算”平台从初始的2PB容量、6GB/s带宽,到2025年增至20PB容量、60GB/s带宽,2025年又扩容至40PB容量、120GB/s带宽,预计2025年容量将再扩充25PB。与此同时,华为OceanStor Pacific分布式存储拥有5U 120盘位的超高密设计,结合超大比例EC数据冗余保护算法,在满足高可靠性的基础上将硬盘空间利用率提升至91.6%。

分布式全闪硬件加持是“交我算”应对存储性能难题的基石。在华为OceanStor Pacific的助力下,“交我算”平台采用全闪硬件加速,显著提升带宽与IOPS性能,每节点80万IOPS、带宽20GB/S能够满足混合负载条件下的高性能要求。

全局分布式存储跨校区统一管理是“交我算”解决多集群存储共用难题的良方。通过采用全局文件系统跨域多套存储管理的方式,“交我算”平台构建起跨校区的统一数据基座,在华为OceanStor Pacific分布式存储产品的支撑下,达*局文件视图、数据管理与调度、全域数据流动、统一流式元数据等多重目标。

数据分析加速、多种协议访问无损互通、免搬迁高效用是“交我算”打破IO墙的利器。基于华为面向AI的存储方案,以及华为OceanStor Pacific分布式存储“一份数据,多种协议访问”的能力,“交我算”平台实现外置存储减少数据搬迁,并大幅提升分析效率、节省存储空间。

大模型时代HPDA+AI的未来图景

透过“交我算”平台携手华为存储打造分布式统一融合数据新基座的演变轨迹,不难看出数据密集型场景正在加速进化。

从早期的HPC到后来的HPDA,再到HPDA+AI的比翼齐飞,教科研行业的应用场景不断丰富,对存储产品和数据基座的需求也持续跃迁。事实上,教科研只是千行百业数字化进程的冰山一角,数据存储的大时代已呼啸而来。

大模型时代的到来,将进一步重塑包括存力在内的IT基础设施,带有崭新AI基因的存储产品有望成为行业数字化升级的新宠。7月14日,主题为“数据新范式 释放AI新动能”的大模型时代华为AI存储新品发布会将在线举行。无论您正在企业内部署AI,还是让开发的应用具备AI能力,此次发布的方案都将提供更优的技术架构与产品,帮您踏准时代的节拍。

人工智能通用化的大幕已经开启,存储行业的领头羊率先吹响了冲锋的号角,后面的每一个乐章都值得期待。

以上就是AI大模型时代,数据存储新基座助推教科研数智化跃迁的详细内容,更多请关注其它相关文章!


# 基础设施  # 邳州360seo  # 江西视频推广营销厂家电话  # 望京模板网站建设  # 万源网络营销推广哪家好  # 富宁网站优化价格  # 济南企业网站优化推广特点  # 上海外贸网站优化  # 张掖网站推广怎么做  # 商城新媒体推广营销方案  # 湛江网上建设网站  # ai大模型  # 丰田  # 存储产品  # 异构  # 中国科学院  # 开源  # 高性能  # 华为  # 基座  # 教科研数智化  # 数据存储 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】


相关推荐: WHEE上线时间介绍  标贝科技亮相国际顶会ICASSP2025 加速布局海外AI数据市场  BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」  Intel酷睿Ultra发布会官宣!迈向全新的AI时代  百度创始人、董事长兼首席执行官李彦宏:AI原生应用比大模型数量更重要  中美陷入囚徒困境,人工智能变得不可控?可参考核不扩散条约规范  马斯克:将来机器人比人类多!特斯拉机器人亮相人工智能大会  Midjourney创始人:AI应该成为人类思想的延伸  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  AI大模型紫东太初已被注册商标 中科院已注册紫东太初大模型商标  探索人工智能在居家养老方面的应用  无人机在电力巡检中的应用:全面解析高效巡检流程  英伟达首席执行官黄仁勋:生成式 AI 时代「人类」会是新的编程语言  “世界人工智能之都”的新烦恼:AI热潮无法拉动大量就业  英特尔张宇:边缘计算在整个AI生态系统中扮演重要角色  小艺主导智慧交互升级,借助AI大模型增强能力  【趋势周报】全球人工智能产业发展趋势:OpenAI向美国专利局提交“GPT-5”商标申请  微软 Azure AI 文本转语音服务升级:新增男性声音和扩展语言支持  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  深剖Apple Vision Pro中暗藏的“AI”  清华朱军团队新作:使用4位整数训练Transformer,比FP16快2.2倍,提速35.1%,加速AGI到来!  一公司推出喷火机器狗,可喷出 9 米长火焰  如何用AI重塑你的工作流(一)  一文看懂被英伟达看中的九号机器人移动底盘  猿编程参加人工智能高峰论坛,推动人工智能教育解决方案在千所学校推行  机器人加速!稀土永磁也被带火,持续性如何?  MetaGPT AI 模型开源:可模拟软件公司开发过程,生成高质量代码  2025“春晖杯”人工智能专场对接活动举办  人工智能驱动智能建筑会是未来趋势吗?  应用生成式人工智能技术改善农业产业  甲骨文与Cohere合作为企业提供生成式人工智能服务  剧透!蜜小豆@2025世界人工智能大会多个亮点曝光  旷视入选北京市通用人工智能产业创新伙伴计划  一文读懂自动驾驶的激光雷达与视觉融合感知  鉴智机器人发布基于地平线征程5的标准视觉感知产品  2025VR&AR显示技术峰会视频解析: 歌尔光学展示最新一代VR/AR光学模组  击败LLaMA?史上超强「猎鹰」排行存疑,符尧7行代码亲测,LeCun转赞  DreamAvatar数字人在哪里下载  梦想实现!硬核科幻大片VR智能头盔即将问世  人形机器人概念大热!这些产业链标的或受提振  可按用户语气自动回复消息,Zoom 推出基于生成式 AI 的新功能  清华&中国气象局大模型登Nature:解决世界级难题,「鬼天气」预报时效首次达3小时  世界水下机器人大赛:9国青年携手逐梦深蓝  从谷歌到亚马逊,科技巨头们的AI痴迷  人工智能如何用于家庭安全  码刻 | 48小时Hackathon,源码见证新生代AI创新的发生  小米创始人雷军将揭示小米AI在年度演讲中的最新进展  斑马推出全新升级版思维机:以人工智能为核心的交互式学习体验  PHP和OpenCV库:如何实现人脸识别  利用AI探索抗体“钥匙”、加速药物研发——访百图生科团队 

 2023-07-21

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.