• >
主页 > 管家婆一句话赢大钱香港资料 >
管家婆一句话赢大钱香港资料
实战 农信行业分布式对象存储应用实践_科技频道_东方资讯
发布日期:2020-07-11 04:54   来源:未知   阅读:

接入层负责提供统一接口,供前端调用,成为应用系统与平台服务的交互桥梁,支持数据传输、传输加密、流量控制、断点续传、通讯代理等功能;服务层作为内容管理平台的核心组成部分,负责接入认证、负载管理、消息服务,以及非结构化数据的存储、调阅、缓存、分发、归档、转换、OCR,同时对底层存储进行统一封装;数据层为数据持久化层,采用分布式对象存储;第三方应用系统是指接入内容管理平台,使用非结构化数据采集、存储、切片、调阅等功能的业务系统。技术方案特点

随着IT建设的快速发展和信息系统规模的不断扩大,农信业务系统对非结构化数据的依赖程度越来越高,非结构化数据的读写效率、扩展性、可靠性成为至关重要的课题。本文结合农信行业面临的数据挑战,提出基于分布式对象存储的内容管理平台解决方案。该方案具有高效的数据读写、无限的扩展能力、完整的数据保护等特点。农信行业面临的数据挑战

2.无限的扩展能力。本方案具有非常灵活的扩展性,接入层、基于Ceph内核开发设计,分布式哈希数据分布算法、分布式无状态客户端、分布式缓存,高效计算出数据的存储位置,服务层采用无状态的分布式微服务架构,数据层采用分布式对象存储。该架构理论上具备无限横向扩展能力,天然支持多活,无备份容灾场景风险极低。

3.完整的数据保护。(1)多副本机制。为提高数据存储的可靠性,底层磁盘采用多副本技术,理论计算和模拟实验表明,在典型的3副本机制下,不少于30个磁盘的系统中,数据一年内的可靠性可以达到11个9的水平。(2)数据强一致性。本方案采用分布式对象存储,利用Paxos和Lease机制保证数据的一致性,任何用户读到的数据一定是最近一次成功更新的副本数据。(3)Scrub扫描机制。利用Scrub机制检查数据,通过后台定期扫描,比较一个对象分别在各个副本的元数据和数据来检查数据是否有效。

2,也难怪别人会说天蝎座是具有逆天改命能力的.横向扩展问题。随着互联网和云计算的快速发展,分布式已经成为技术发展的趋势,金融业务向移动化发展已成为必然要求,但多数农信内容管理平台仍然使用集中式架构,传统集中式存储架构、关系型数据库的无法横向扩展的问题日益凸显。

内容管理平台划分为接入层、服务层、数据层,以及第三方应用系统四部分。

3.数据安全问题。传统架构下,为提高热点数据的读写效率,多数农信使用块存储,甚至磁带库作为冷数据的近线和离线备份,但是因为数据长时间未使用,又缺乏完整的数据校验机制,数据的有效性无法保障。系统总体设计

针对农信行业的非结构化数据管理需求,基于独立性、标准性、开放性、扩展性原则,构建非结构化数据管理解决方案,实现对各个业务流程的业务凭证、文档、电子邮件、视频信息等非结构化数据的集成,以及差异化的生命周期管理。

文 / 江西省农村信用社联合社 谢伟

1.读写性能瓶颈。农信业务系统数量庞大,数据规模爆发式增长,如柜面各类业务凭证、借贷业务资料、后督凭证审核等非结构化数据规模巨大,已经达到百TB级,甚至PB级,因此对非结构化数据的读写效率、网络规模、服务器密度提出巨大挑战。

1.高效的数据读写。首先,农信属于金融行业,数据保留周期长,一方面业务系统流程长,另一方面监管要求客户数据需长期保留,因此随着时间推移,数据规模急速增长。其次,香港六合资料,多数农信内容管理平台数据层仍然采用传统的存储技术,利用“在线缓存+近线缓存+离线缓存”三级架构将数据分级,数据读写链路拉长。本方案采用分布式对象存储,是海量非结构化数据存储的最佳解决方案,数据层只有一级架构,具备超高的读写效率,系统设计和硬件配置实现了SSD+HDD混合架构,既发挥了SSD的IOPS和吞吐的优势,又发挥了HDD的容量和价格优势,是目前广泛采用的存储架构。