在数据集市建设之前,数据查询主要依赖于数据仓库。数据仓库是一个集成的、面向主题的数据集合,设计的目的是支持决策支持系统的功能。在数据仓库里,每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据,是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程。数据仓库是一个典型的OLAP系统,在高并发、快速响应的场景下具有很大的局限性,无法满足海量投资者数据查询服务需求。
数据集市(DataMart),也叫数据市场,是企业级数据仓库的一个子集,是为满足特定的部门或者用户的需求,只面向某个特定的主题,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。为了解决灵活性与性能之间的矛盾,数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据,从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。
为了系统在低延时和高并发查询的情况下具备足够的支撑能力,可以7×24对外提供数据服务,且不影响原有数据仓库统计分析应用的正常运行,社区在8月7日组织了一场“在高并发、低延迟的场景下,企业如何建设敏捷高效的数据集市线上探讨”活动,并邀请了某证券公司大数据专家,同大家一起交流探讨。
嘉宾介绍:卢向澄某证券技术开发经理
硕士毕业,有大型外企、国内大型金融机构等金融科技领域十余年工作经验,目前在证券行业从事技术架构工作,专注于技术中台、云平台、大数据平台等领域。
李文强某证券资深大数据架构师
研究生毕业于东南大学,曾经在某部委直属的研究所工作多年,主要从事大数据方面的研究和应用,对于万亿级结构化和千亿级非结构化数据的存储和查询有良好的实践经验,负责构建过共几十亿节点、千亿级关系的社交关系网络,并基于此网络实现人物标签的构建,现就职于某证券,继续从事大数据平台相关研究和应用工作。
推荐阅读:证券行业投资者服务数据集市建设方案
为了保证投资者服务系统在低延时和高并发查询的情况下具备足够的支撑能力,可以7×24对外提供数据服务,且不影响原有数据仓库统计分析应用的正常运行,最终决定建设面向投资者服务的专业数据集市。本文对该项目的架构与实施方案做了详细阐述。
点击阅读原文,现在即可阅读资料,提出问题,与同行交流,本次活动将在明天下午进行专家参与的集中探讨,欢迎来聊
北京哪家白癜风医院便宜点北京哪家医院白癜风手术好价格便宜