网站首页    大数据中心ODS/Operational Data Store

大数据中心ODS/Operational Data Store

“面向主题的、集成的、当前或接近当前的、不断变化的”数据

系统目标

1.统一规范操作数据模型,整合已有数据,建设统一的数据交换及处理平台2.建立一体化的数据服务机制,实现数据服务的提供、管理、发布和使用功能,支持技术扩展和业务应用的快速判断3.减少各业务系统数据之间的传输环节,提高数据使用效率,实现业务数据的主题维度规划,提高数据共享效率4.统一实施共性的数据加工活动,减少基础设施应用的重复开发,提高整体实施效率,降低整体开发成本。

数据平台构成:

1.数据采集层是指把业务数据从各个业务系统如核心业务系统、财务系统、信贷管理系统的数据进行抽取,并装载到ODS的过程。2.数据处理层数据处理层是数据平台的核心部分,部署了数据下发系统。下发数据根据用户的订阅信息,定期生成数据文件。 下发数据系统提供用户身份认证、权限验证、数据源过滤和下发数据任务管理等功能,根据下发数据任务执行频率,定期查询ODS数据库,根据查询结果集,生成指定格式的数据文件。3.文件传输层作为数据平台上,各应用系统间信息交换的“高速公路”,通过部署于该层的文件传输系统,向应用系统提供安全、便捷、高效的文件传输。4.数据应用层位于数据平台的顶层,部署有数据管理台。凭借数据管理台的强大功能,实现对下发数据的深度加工,形成高度定制的业务数据,应用于市(县)数据库中,为各级网点应用系统提供数据支持。

系统作用:

1. 隔离业务系统和应用系统,降低数据交换的复杂性和风险2. 转移部分业务系统细节查询的功能,减轻业务系统的查询访问压力3. 全面覆盖各业务系统,形成统一优质的数据中心4. 建立数据标准,提供统一的业务数据口径

系统特点 :

1. 自主研发的高效ETL工具2. 全面的元数据管理,包括业务元数据和技术元数据3. 面向主题的汇总层设计4. 提供多种的访问方式,方便各种应用系统接入5. 高效便捷的文件传输平台6. 友好美观的数据管理平台7. 科学的数据库设计,充分高效利用数据库特性8. 灵活的扩展设计,满足多变的业务需求9. 完备的系统安全设计

ETL工具简介 :

优秀的ODS系统离不开强大的ETL工具的支持,公司自主研发的ETL工具,快速高效,主要支持以下功能:1.自动调度2.支持批处理和任务流3.异常处理4.任务重启5.数据质量检测6.性能监控7.记录日志8.发送通知9.支持主要Unix类操作系统和Linux操作系统10.支持Oracle和DB2数据库

大数据中心ODS/Operational Data Store

行业解决方案
应用解决方案
本网站由阿里云提供云计算及安全服务