群晖 成都代理 科汇科技 利用群晖nas 提升 实验数据的存储体量和访问效率

6个月前发布 SanS三石
45 0 0

群晖 成都代理 科汇科技 利用群晖nas 提升 实验数据的存储体量和访问效率

“通过将群晖作为我们的存储节点,增加了计算资源分配使用的弹性,同学们在不同服务器上运行计算任务,都只需从群晖的存储空间上调取数据即可,避免以往需要排队实验、拷贝实验数据的情况,并且也降低了数据重复率。更重要的是,群晖直观的操作方式,也降低了维护难度,更不用每次维护都需要备份一次实验数据,大幅提升了我们的实验效率。”

华东理工大学信息学院 在读博士 曾健骏

组织背景

华东理工大学(East China University of Science and Technology),是全国重点大学,位列国家”双一流”、”211 工程”、”985 工程优势学科创新平台”,入选国家建设高水平大学公派研究生项目、高等学校创新能力提升计划、高等学校学科创新引智计划、基础学科拔尖学生培养计划 2.0、双万计划、卓越工程师教育培养计划、新工科研究与实践项目、国家大学生创新性实验计划、国家级大学生创新创业训练计划、全国深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校,为全国 16 所工科重点大学科技工作研讨会、高水平行业特色大学优质资源共享联盟成员。

面对的挑战

华东理工大学信息学院自然语言处理与大数据挖掘研究室(简称”研究室”)面临的主要挑战是 GPU 服务器资源的管理和利用效率问题。由于该研究室依赖 GPU 服务器进行自然语言处理(NLP)和计算机图像识别(CV)等实验,实验数据的存储和访问成为了一个关键问题。每个 GPU 服务器上只能同时运行一个实验,导致在多个学生需要同时进行实验时,必须将数据复制到其他可用的 GPU 服务器上。这不仅降低了团队的整体效率,也导致了数据重复复制和磁盘空间的浪费。

此外,当需要对服务器进行软件和系统维护时,学生们必须先备份各自的数据,而且在维护期间无法进行实验,进一步影响了学习和研究的效率。因此,研究室团队迫切需要改进其数据存储和共享方式,以便多人能够同时访问和处理数据,减少数据重复,同时确保操作管理的便捷性,以免影响实验进程。

群晖 成都代理 科汇科技 利用群晖nas 提升 实验数据的存储体量和访问效率

解决方案

研究室团队于 2023 年采购群晖 RS3618xs,并配备 12 块 18TB 硬盘搭建文件服务器,作为学院 70 位师生们实验数据存储和调用。

搭建群晖 NAS 作为存储节点,为师生处理信息数据效率提升 50%

谈及选择群晖作为实验室文件服务器的原因,华东理工大学信息学院在读博士曾健骏说到:”我们信息学院计算机系自然语言处理团队拥有 11 台高性能 GPU 服务器、以及 6 台高性能计算服务器。由于实验数据代码都存储在 GPU 服务器中,同学们在跑实验时,如果上一次实验用服务器被占用,就只能将数据复制到另一台可用服务器上,这样不仅效率降低,并且也很容易产生重复数据。群晖支持 CIFS 文件协议,我们将实验数据统一存储到 RS3618xs 上,并且将所有计算服务器用户数据目录,统一指向 RS3618xs,同学们就不用跨计算服务器进行数据代码复制。群晖作为我们的存储节点,也节省了原本分散在不同服务器上的磁盘空间,存储效率提升了 50%。”

研究室团队通过文件管理 File Station 集中管理数据代码文件,启用回收站,以及通过 Snapshot Replication 建立每日快照机制。此外为师生们创建对应的帐户和群组,也规避了数据被误删和迁移后,导致丢失或找不到的问题,同时也方便互相共享以提升交流和学习。

简化维护,搭建万兆环境高效提速读写效能

之前当华理信息学院要对服务器进行维护时,需要先将师生们各自的数据代码进行备份,并且维护周期还很漫长。群晖的文件管理操作接近电脑本地操作,直观的操作界面降低了学习成本,并且当需要进行系统升级、套件更新等,也不用逐一备份各自数据,可设定在空闲时间进行。此外,RS3618xs 通过 PCIe 扩展卡支持万兆网络,相比于原来的千兆网络提升了 10 倍速度,以参数量 70B 的大语言模型 LLAMA2 为例,在千兆网络下,读取速度为 100MB/s,需要接近 50 分钟,而群晖能提供万兆满速的 1GB/s 的读取速度,使读取时间降低至 5 分钟。不论是日常维护,还是系统效能,都比华理信息学院之前的数据存储方式提升了整体效率。

成果

华东理工大学信息学院在读博士曾健骏说:”通过将群晖作为我们的存储节点,增加了计算资源分配使用的弹性,同学们在不同服务器上运行计算任务,都只需从群晖的存储空间上调取数据即可,避免以往需要排队实验、拷贝实验数据的情况,并且也降低了数据重复率。更重要的是,群晖直观的操作方式,也降低了维护难度,更不用每次维护都需要备份一次实验数据,大幅提升了我们的实验效率。”

群晖 成都代理 科汇科技 利用群晖nas 提升 实验数据的存储体量和访问效率

推荐功能

  • 通过支持 CIFS 文件协议,将所有计算服务器用户数据目录,统一指向 RS3618xs,提升实验效率,并减少数据重复率
  • 通过文件管理 File Station 可以集中管理数据代码
  • 为师生设置相应帐号和群组后,便于互相共享数据代码,提升交流和学习
  • 借助 PCIe 扩展卡,搭建万兆网络环境,大幅提升读写效能
  • 通过 Snapshot Replication 建立每日快照机制,防止勒索病毒入侵

成都科汇科技有限公司 — 专业数据备份服务商

无论您的IT架构是本地化、云端、还是混和云都能提供一站式数据备份方案。

京东群晖synology 天猫群晖 线下代理技术咨询服务

四川成都群晖官方授权核心代理商(企业级服务商)

四川成都群晖synology解决方案中心

四川成都群晖synology体验中心

四川成都synology群晖线下实体店

四川成都群晖synology售后技术中心

四川成都群晖synology官方授权专卖店

群晖 成都代理 科汇科技 利用群晖nas 提升 实验数据的存储体量和访问效率返回搜狐,查看更多


责任编辑:

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...