3月29日,我行大数据平台非结构化数据采集与处理系统顺利投产。
作为农行第一个非结构化数据处理系统,该系统涵盖了互联网非结构化数据采集、存储、处理以及检索功能,打通了非结构化数据采集与处理的技术通道。
目前,该系统已接入国家统计局网站,通过搜索引擎技术每日获取该网站发布的指标数据,并通过Hadoop大数据处理技术对网页非结构化数据进行存储和处理,实现了由非结构化数据到结构化数据的转换,并实现了海量数据的分布式检索,方便了用户和其它系统的数据获取。
该系统后续将逐步按需增加数据获取来源,增加我行大数据的宽度,从外部互联网攫取高价值的数据,用于我行的大数据分析,提高我行的大数据分析水平,有效辅助我行的业务经营。
北京哪家白癜风医院最好北京看白癜风医院哪里最好