人大金仓完成新疆农村信用社数据仓库国产化
2021-03-22 16:43:58 来源:财讯界
随着国家“新基建”战略的推进,国产软硬件迎来跨越式发展,在金融、政务、电信等核心领域均具备不斐实践。作为我国信息化程度最高的行业之一,金融行业是我国信息化建设的重点领域。近年来,随着全球化逆流加剧,金融行业IT建设国产化进入加速期。
近日,在新疆农村信用社(以下简称“新疆农信”)数据仓库国产化替代项目中,人大金仓顺利完成由IBM Netezza数据库到金仓分布式分析型数据库系统KingbaseAnalyticsDB(以下简称“KADB”)的迁移,迁移后,客户的数据库使用及服务成本节省10倍,数据库加载速度与分析性能显著提升。
项目背景
新疆农信ODS业务核心数仓接入其 “核心”、“网银”、“财管”、“银联”、“信贷”、“前置”和农信银等重要业务系统;
每天高密度、结构化数据的批量加载、处理、分析:数仓存储数据量压缩后近20TB,每日运行批量加工过程500+,每日入库量30GB+,全天数据加工处理流程时间<3小时(清洗/装载、汇总、报表);
流水型业务场景:整个过程需要通过集中控制平台以定时任务的形式将每日增量数据导入到数据库中,并通过多层模型清洗转换基础数据,每一层需依赖上层转化好的数据,最终完成所有业务操作后将最终结果上报到总行。
原数据库性能及服务无法满足需求:原有数据库为基于一体机架构体系下的数据分析和数据存储平台。采用Netezza构建ODS,随着数据量的增大,Netezza在性能及各方面表现日趋下降,已不能满足新疆农村信用社使用需求。2019年,IBM停止Netezza的服务支持,新疆农信ODS业务陷入无数据库原厂提供服务保障的困境。
客户痛点
安全风险:原数据库IBM Netezza采用的是基于一体机架构体系下的数据分析和数据存储平台,整体从硬件到软件都由IBM提供,对硬件要求非常高,整体架构不适用于目前场景;且系统相对封闭,产品代码层面不可控。
业务运行风险:压缩后约20TB的数据库历史存量,每日30GB+数据增量,导致数据库负载压力巨大,数据库性能提升刻不容缓。
原厂服务保障风险:银行系统对于响应的要求近乎苛刻,需要时刻保证数据库安全稳定运行,数据库厂商最好能够提供7*24小时本地化服务。
金仓方案
人大金仓采用分布式可扩展架构对客户原来的一体机架构进行替换,经过KADB国产化替代后,架构如下:
原Netezza数据仓库体系架构如下:
金仓价值
开放架构:采用shared-nothing架构的MPP技术路线,金仓分析型数据库系统KingbaseAnalyticsDB产品特性助力,在满足高性能、高扩展性、低成本的基础上,同时满足金融架构的高可用、低风险、强管控要求;
数据库迁移:通过金仓数据库迁移工具,完成600多个控制任务、200多张拉链及增量表、近20TB存量数据的自动化迁移,节省了大量的时间及人力成本。
性能优化提升:通过分布式架构的并行计算能力,将数据分布在所有节点上,减轻了单台服务器的存储压力,通过高度并行的计算框架,加速每个节点的计算效率,完成数据库集群整体性能提升。最优化的I/O处理能力:无共享MPP架构,能够满足所有节点同时进行并行处理,无I/O冲突;
极速数据加载能力,智能加载,无需通过冗余节点,性能极高;
高效数据存储能力:支持主流高效率压缩算法,压缩比可达1:20,协助用户获得最佳存储效率;
大规模并行能力:集群支持将计算任务分发给各个主机并行执行,可最大程度利用集群中的计算资源完成任务;
数据库加载速度与分析性能较Netezza显著提升。
近日,该项目已正式上线且运行稳定,本次项目实现了新疆维吾尔族自治区银行类业务国产化替代由0到1的飞跃,为新疆农村信用社将来全面实现国产化替代注入了一剂强心针,为更多金融信息安全领域企业使用国产数据库奠定了信心!
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
关键词:
推荐内容
- 微纪录片|战!在“疫”线
- 更高水平全民健身 未来怎么升级?
- 万人说新疆 | 来自奇台黄面的“诱惑”
- 万人说新疆 | 冰球追梦少年吾拉哈提
- 专家解读 “3·21”东航飞行事故调查的方式范
- 群殴大象,带来灾荒,非洲“麻雀”泛滥成灾,15亿
- 今年前两个月物流运行平稳开局
- 产业布局更优 区域协同更强(经济新方位)
- 森林草原防火季 | 视频:杜绝森林火灾 保护绿色家园
- 五部门印发通知部署做好脱贫人口稳岗就业工作
- 全球最大电池容量纯电池动力船“长江三峡1”交付
- “疫”刻不放松 检测送船头
- 铜陵市海事中心筑牢战“疫”水上长城
- “线上+线下”,泰州港航全力护航春耕物资水上运输
- 百年糊涂品牌营销成功出圈,江小白这回有对手了
- 多地采取有效措施促进春季农业生产 持续保障农
- 【图解】防疫保供稳物价 各地聚力“惠民生”
- 光影军校丨记录不一样的热血青春
- 全国铁路4月8日实行新的列车运行图
- 两部门公告:对增值税小规模纳税人免征增值税
- 海通策略:A股退市逐步常态化
- 金山办公去年净利10.41亿 股价自去年6月高点下
- 最强企业家德比:曹德旺侧身,“玻璃大王”花落李
- 中国人寿:去年净利润509.21亿元同比增长1%
- 国盾互联八仙金花茯茶.助推振兴乡村打造共同富裕
- 京东居家睡眠节智能床垫成交额同比增长414% 床
- 国家卫健委:昨日新增本土确诊病例1301例
- 宜信财富:践行社会责任,推动美好生活
- 财政部税务总局发布《关于对增值税小规模纳税人免
- 21年研发投入超8亿元之后,BOSS直聘22年春季DAU峰
- 平安银行海口分行因信贷融资相关费用问题被通报,
- 看!这是2022年北极海冰的最大值,真的变化很大
- 恕我直言:均价破8算什么?海珠还会继续涨!
- “学神”童哲,没能撑住万门大学
- 黄峥离任372天之后,陈磊手里的拼多多成了烂摊子?
- 一人,两狗,骑三轮流浪4年,被嘲弱智的他凭什么
- 宋雨琦的长相真不比她性格差
- 美市尾盘多头突然加速猛攻金价快速上涨 全日涨
- 凯特一天比一天美啊!穿裹身蕾丝裙出席阅兵礼,可
- 曹德旺输了,福建人没输