京东大数据技术白皮书(全文)

12月7日京东举办了首届大数据峰会,也是首次对外全面展示京东在大数据领域多年研发的核心技术成果。在2010年京东就启动了在大数据领域的研发和应用探索,正式组建京东大数据部,并确立了数据集中式的数据服务模式,成为大数据最早的实践企业之一。在峰会上,京东对外发布了《京东大数据技术白皮书》,该白皮书全面介绍了京东大数据的建设以及技术特点。

在《京东大数据技术白皮书》中指出,大数据平台的发展是随着京东业务同步发展的,由原来的传统数据仓库模式逐步演变为基于Hadoop的分布式计算架构。技术领域覆盖Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大数据全生态体系。

经过多年的持续投入和全面应用实践,京东大数据已成为企业大数据的领跑者。目前已拥有集群规模40000+服务器、数据规模800PB+、日增数据1P+,每日的离线数据日处理30PB+,实时计算每天行数近万亿条。面对如此高的数据处理量级,京东大数据建设了全生态核心产品体系,是京东大数据业务的基础服务平台,为京东全业务生态提供一站式、自助式的大数据处理全流程解决方案。涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务,在保障数据安全的前提下,提供更可靠、高性能的服务,大幅降低大数据使用门槛,帮助京东大数据业务快速落地,助力京东实践以数据为驱动的业务变革与发展。

京东对大数据的应用正不断为行业带来创新的应用能力,也正是因为京东所具有的丰富场景,能够使这些技术得以落地并不断升级迭代。对于以技术为核心发展战略的京东,大数据是宝贵财富,也是助力行业伙伴的全价值链资源。随着京东大数据平台技术不断创新,随着京东开放平台的建设,这项宝贵的财富将不仅推动京东自己的成长,更为行业带来服务,让更多的企业和消费者能够享受到大数据所创造的价值。

以下为《京东大数据技术白皮书》全文:

0001.jpg

0002.jpg

0006.jpg

0009.jpg

0010.jpg

0042.jpg

0061.jpg

0063.jpg

0064.jpg

0089.jpg

0093.jpg

0094.jpg


0097.jpg

0099.jpg

0100.jpg

0107.jpg

0118.jpg

0119.jpg在线下载全文报告(或关注云掌财经:yunzhangcaijing 微信公众号即可获取)

本文由 达拓科技网 作者:〆﹏IT民工╮ 发表,其版权均为 达拓科技网 所有,文章内容系作者个人观点,不代表 达拓科技网 对观点赞同或支持。如需转载,请注明文章来源。

0

发表评论