• 发文
  • 评论
  • 微博
  • 空间
  • 微信

【京存】漫谈存储之分布式

京存高性能存储 2024-04-08 17:07 发布于北京 发文

分布式存储是一种存储架构,它将数据分散存储在多个独立设备或节点上,而不是集中存储在单个设备上。通过在多个节点上分散存储数据和实现数据冗余,提供了高可用性,可扩展性和容错性,以满足现代大规模数据和应用程序的存储需求。

图例

如图,集中式存储的数据存在特定的服务器里,如果某一个服务器出现问题,它的上层应用只能暂停运行,等待服务器修复完成,数据甚至可能无法恢复。

而分布式存储通过复制或者纠删的冗余策略,数据均衡的存储在多个节点之间,即使某个节点发生故障,数据仍然完好无损,当然应用也无需停止。

优点

(1)高可用:存储多活,系统全冗余,节点间高可用配置,不存在单点故障。

(2)高性能:依托优秀的横向扩展能力,分布式存储可达到千万级以上的IOPS及百GB/s以上数据带宽。全面的高性能可以满足数据库、HPC、大数据、AI等不同工作负载的多样化需求和应用发展不确定性带来的挑战。

(3)多协议:相较于集中式存储支持块存储,文件存储协议,分布式存储可以支持块、文件、对象存储服务;既能够支持企业关键业务(如数据库、ERP、计费、账务)的运行,又能够支持新兴业务(如大数据、人工智能、HPC、视频等)的数据存储需要。

(4)高可靠:分布式存储采用分布式集群管理方式,系统全冗余部署,无单点故障,可以动态剔除出现问题的节点,并自动重构问题节点上的数据。系统可靠性通过多副本、纠删码算法(EC,Erasure Coding)进行保证,数据一致性通过数据完整性字段进行保证。

(5)弹性扩展:分布式存储是通过将分散在各个节点上的存储资源整合成池,分布式存储具备横向扩展能力,可实现集群容量和性能的按需弹性扩展,存储节点可扩展到上千节点,存储规模可以达到EB级以上。

分布式存储和集中式存储的主要区别在系统架构,集中式存储采用紧耦合架构,存储控制器负载完成所有的数据管理功能,虽然可以通过控制器横向扩展,但数量有明显限制,将容量扩展到一定程度上,性能将不再增长。属于Scale-up的架构。分布式存储采用松耦合架构,每个节点都承担一部分数据管理功能,节点可横向扩展,在容量不断扩展的同时,性能随节点数增多而线性增加,属于Scale-out架构。

缺点

(1)多个服务器相互关联,需要比较强的技术能力和运维能力。

(2)分布式存储非常依赖网络环境和带宽,如果网络发生抖动或者故障,都可能影响分布式存储系统运行。例如IP发生冲突。

在政府行业,政务云、智慧城市、超算中心、智算中心等建设在如火如荼进行,大量采用分布式存储作为各种应用的数据支援池。在电信行业,中国移动、中国电信采用大量分布式存储支撑BOM/CT资源池、大数据、视频等业务的增长,在金融行业,行业信息化程度高,图片、语音、视频数据增长迅速,采用分布式存储成为最优选择。在教育行业,高校及科研机构依托高性能计算进行科技创新,分布式存储是支撑解决海量数据高性能分析的有效手段。在制造行业,随着产业升级,自动驾驶、工业互联网等快速发展,带来非结构化数据猛增,对分布式的使用也呈规模增长。

总而言之,企业应用的移动化和智能化趋势十分明显,应用生成的数据类型正在发生变化,图片、视频、语音、文档等非结构和数据占企业总数据量的比重已经成为绝大多数,传统存储在企业数字化转型中已成为瓶颈,选择更合适的存储技术成为IT基础设施建设的必选项,京存分布式轻松为您部署市场最经济分布式存储。

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    京存高性能存储

    京存致力于自主研发高性能存储,厂...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码