大数据平台架构介绍

典型云计算平台架构

开源成熟的hadoop生态体系

从企业的技术选型角度,hadoop能满足大数据场景下绝打多数需求,同时在技术可行性与成本上,具有无可比拟额优势。

1、Hadoop是架构在廉价的硬件服务器上,不需要非常昂贵的硬件做支撑。

2、开源的产品,免费的,基于开源协议,可以自由修改,可控性更大。

3、因为属于二次开发,同时因为有非常活跃的社区讨论,对开发人员的能力要求相对不高,工程师的学习成本也并不高。

4、当集群规模非常大时,开发成本和维护成本会凸显出来。但是相对于自研系统来说的话,还是便宜的很多。

hadoop的整个生态体系,涵盖了系统数据存储、数据收集、数据导入导出到关系数据库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。

大数据分析平台

一、海量数据存储及扩展能力

基于分布式HDFS文件系统存储,HA高可用配置,数据多副本,异地备份容灾能力,以最经济的硬件成本支持海量数据存储和扩容。

二、高负载和海量数据处理能力

基于yarn之上的资源管控与调度模型,支持资源的动态配置与热启动,公平科学的任务调度算法,达到资源利用的最大化、合理化。优先分配就近的运算节点,尽可能降低网络带宽。高容错能力,支持任务重试和资源预估,不受个别越算节点故障影响。支持动态扩充运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。

三、灵活快速的平台搭建及全面运营监控指标体系

一键式的平台搭建,支持快速搭建集群环境。灵活方便的配置界面,可针对集群、单机进行系统配置及调优。提供自定义的服务模块安装、资源分配、权限管理。指标体系全面的监控管理、良好的可视化界面,提供自定义脚本的预警与处理。

四、多平台、多结构的数据接入与处理

支持各种格式、多数据源的数据导入。从系统日志、数据库、第三方数据源等导入数据到集群环境,进行快速地数据清洗、转化、建模、固化,提供各业务模块进行运算处理。良好的模板配置,支持多ETL任务自动生成、运行。代码规范统一。

五、体验良好的交互式展示界面及报表工具

除了展示各个常规指标及运算记过。通过专业的统计数据分析系统设计方法,理清海量数据指标与维度,按主题、成体系呈现复杂数据背后的联系;将多个视图整合,展示同一数据在不同维度下呈现的数据背后的规律,帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。具备显示结果的形象化和使用过程的互动性,便于用户及时捕捉其







































白癜风注意什么
北京中科癜风医院好嘛



转载请注明:http://www.92nongye.com/xxmb/xxmb/204621096.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了