品友互动大数据架构负责人曹国梁大数据平

曹国梁

品友互动

大数据平台架构负责人

互联网技术联盟

ITA讲师团成员

本篇文章整理自曹国梁5月5日在『ITA大数据技术精英群』里的分享实录：算法之下-大数据平台架构和关键系统实现。

正文如下

谢谢主办方ITA给我这次机会与大家分享和交流。这次本来想和大家分享三个系统的研发和调优经验，但由于我准备时间有限和分享篇幅的限制，这次先和大家分享第一个系统的研发经验。

0Agenda

preface：简要介绍品友互动、DSP、RTB

品友大数据平台演进和现状

满足RTB：超低负载vs.超低延迟vs.超大存储，之LogAggregator

TODO满足RTB：超低负载vs.超低延迟vs.超大存储，之Kafka2HDFS

TODO多维实时查询之ApacheHAWQ

1Preface

品友互动作为国内最大的DSP（市场份额59.8%），这几年发展迅速，随之带来的变化之一就是数据量的爆发式增长。拿RTB程序中的unbid数据来举例，目前每个小时新产生的数据在G左右。整个数据平台，每天新产生的数据在20T以上。我想先宏观地说一下DSP是什么，以及与其密切相关的RTB又是什么。

下面的定义，来自Wikipedia。WhereaDSPfitsinanonlineadvertisingsystem