大家好！在公司五周年之际，首先感谢公司给我这样一个展示自我的机会，感谢张总、苏总对我的信任、支持与鼓励。在过去的三年中，目睹了公司一步一个脚印的发展变化，感受到了同事们在同行业中的强大实力，也让我有机会表达对公司的祝福和感谢，感谢同事们对我的帮助，在此我向大家表示衷心的感谢。
作为一名技术人员，下面我把公司应用的部分大数据技术做个简要介绍：
公司是基于CDH搭建的大数据集群，我主要从数据的采集、数据的统计分析计算、数据的存储等分别介绍。
数据的采集：具有多样化数据采集能力，支持对表、文件、消息等多种数据的实时增量采集（主要使用flume、KAFKA等相关技术）和批量数据分布式采集（主要使用sqoop）等。
数据的统计分析计算：主要运用MapReduce、hsql、spark等相关技术，根据公司的业务需求对数据进行统计分析计算。
数据的存储：包括持久化存储、临时存储。持久化存储主要的实现技术有HDFS、mysql、mongoDB、Hbase等；临时存储用redis、memcached等技术实现。
最后，祝愿心流创新不止、扬帆起航、日胜一日！祝大家身体健康，万事如意！谢谢大家！
李辉辉 | 心流信息技术部大数据工程师
-END-
历史推荐
