深信服EDS存算分离解决方案，实现大数据架构升级！

　　数字时代，数据已经成为生产要素，通过大数据平台对海量业务数据进行分析处理，驱动业务流程与决策已经是各行各业的常规操作。分析与处理的核心在于计算，而计算又需要足够的存储性能和容量作为支撑。随着数据量的迸发，业务对于存储和计算效率提出前所未有的挑战。

　　对于大数据的计算和存储而言往往存在两种形态，即存算融合与存算分离，在数据量比较小且数据增长较慢的场景，存算融合可有效解决存算调用低效的问题。而在大规模的大数据分析运算场景，往往有数据量大、增长速度快、计算和存储资源需求不对等的特点，更适合采用存算分离方案。

　　01、传统大数据架构痛点日益凸显

　　传统的大数据架构下，原生的HDFS为三副本存储，即实际的存储空间使用率仅为33%，随着数据量的持续增长，过量投入的问题会愈发凸显。此外，在大部分场景下，存储资源和计算资源的需求量并不匹配，但是由于存储和计算无法相互独立只能按照最大需求量扩容，导致扩容成本高。

　　传统大数据分析业务流通常需要经历原始数据导入文件存储，加载至大数据存储，分析数据产生结果；再导出至文件存储供用户查看，流程复杂且低效。此外由于计算节点和存储节点融合，在业务进程中还存在存储抢占计算节点的CPU资源的情况，影响分析效率。

　　单个Namenode性能受限于单个节点的瓶颈，通常最大只能支持数亿规模文件数量，同时集群数量愈发庞大、硬盘硬件故障发生的随机性，以及故障修复的时间投入，为运维带来极大挑战。

　　02、深信服EDS大数据存算分离解决方案

　　如何化解这么多挑战？其实几乎所有的痛点都源于传统架构计算与存储耦合，将两者进行分离是大数据架构演进的必然趋势，也是解决用户大数据痛点的最行之有效的方式。深信服基于这一洞察，推出EDS大数据存算分离方案，为带来用户成本最优、效率最高、使用最简的三大优势。

　　深信服EDS大数据存算分离方案

　　1.成本最优

　　就大数据存储而言，在容量扩容方面几乎都是“硬需求”，怎样做才能降低成本？深信服EDS给出的答案是提升资源利用率。

　　深信服EDS大数据存算分离架构使用EC 8+2冗余策略，性能与可靠性均与3副本相当，存储空间利用率达到80%，相比于存算融合架构提升1.4倍，大幅降低存储资源投入。

　　通过计算和存储相互分离，可以轻松实现资源的动态分配，按需扩容。此外，EDS也支持通过ViewFS特性实现同一命名空间下的新老存储共存，实现存储资源的充分复用。

　　2.效率最高

　　对于提升业务效率，EDS存算分离架构采用了最直接的方式——提升性能，简化流程。

　　存算分离，资源互不抢占

　　从测试数据来看，相比于存算融合架构，在相同硬盘数量配置上，原生HDFS三副本写入会占3倍的硬盘带宽，而EDS HDFS通过纠删码机制实际写入数据更少，写入带宽更高；从业务实际情况来看，存算分离方案计算节点的计算资源专用于计算分析，避免资源抢占，在实际分析效率上性能更优。

　　多协议互通，提升业务分析效率

　　原始数据导入EDS大数据存储集群进行分析，用户直接读取读取免去数据、结果数据反复执行导入导出操作，提升分析效率。

　　3.使用最简

　　深信服EDS支持原生HDFS接口，对比通过S3A插件使用对象存储的方式，可以无缝对接上层大数据应用，无须担心兼容性问题，并且不会造成性能损失。硬盘坏道问题实现预测、检测、修复自动闭环处理等机制，将运维人员精力投入降到最低。面对必要的主机替换以及软件升级情况，EDS也可以保障业务连续运行无宕机。

　　目前深信服大数据存储解决方案已经在实战中得以应用，为深信服安全云脑提供存储能力支撑，助力深信服云脑实现大数据安全感知与安全分析。相比传统大数据方案，服务器数量从100多台降低到50台，TCO降低30%。

　　就在去年，深信服分布式存储EDS顺利通过兼容性测试认证，充分对接星环大数据平台，同时深信服与星环信息科技达成战略合作，携手为用户提供的一体化大数据解决方案。

　　星环科技&深信服EDS产品测试认证

　　深信服EDS也将持续充当用户的数据底座，让用户的大数据平台投入更合理、性能更优异、运维更便捷。

　　责任编辑：广汉