新时代的大数据处理方式:实时流计算

新时代的大数据处理方式:实时流计算

新时代的大数据处理方式:实时流计算

新书速递

无处不在的流计算到底是什么?当数据处理做不到实时,应该怎么办?如何避免异步系统中的OOM问题?流计算系统中的核心问题是什么?今天小编为大家推荐《实时流计算系统设计与实现》

这本书高度抽象出实时流计算系统的技术支撑、架构模式、编程模式、系统实现协同系统,并从零编写一个分布式实时流计算系统适合Java软件开发人员、实时计算工程师和架构师、分布式系统工程师和架构师阅读。

新时代的大数据处理方式:实时流计算

通过从无到有构建一个流计算编程框架,让读者了解流计算应用计算的任务类型,学会解决计算过程遇到的各种问题和难点。本书希望让读者领会Java程序开发中“流”这种编程方式的优势和乐趣所在。另外,通过将单节点流计算应用扩展为分布式集群,让读者理解分布式系统的架构模式,并能准确看待开源社区中各种眼花缭乱的流计算框架,看透这些流计算框架的本质,避免选择恐惧症。本书还探讨了实时流计算能够与不能够解决的问题,让读者对流计算系统的能力了然于胸,不至于钻牛角尖。总而言之,读者在阅读本书后,能够对实时流计算系统有清晰的认识和理解,在架构设计、系统实现和具体应用方面都能做到心有丘壑,最终做出优秀的实时流计算应用产品。

新时代的大数据处理方式:实时流计算

如何阅读本书

首先需要澄清的是,本书的“非目标”是什么。

各种流计算框架实战,诸如教读者如何使用Storm、Spark、Flink等流计算框架。笔者相信,针对每一种具体的流计算框架已经有许多优秀的书籍了。如果笔者再讲,就是不自量力、班门弄斧、狗尾续貂了。

澄清了本书的“非目标”,就可以定义本书的“目标”了:

总结实时流计算系统的通用架构模式。所谓架构模式,是一种“形而上”的东西,也就是所谓的“道”。实时流计算系统体现出的软件设计之“道”,是笔者试图阐述的东西。

从无到有构建一个“麻雀虽小,五脏俱全”的单节点实时流计算框架。通过这个造*的过程,我们会深入理解流计算系统中最本质、最困难、最容易混淆的概念。之后通过在多种开源流计算框架中多次验证这些概念,实现“道”向“形而下”的具象,让我们以后面对各种流计算框架时,都能够做到胸有成竹。

通过将单节点的实时流计算框架扩展为分布式实时流计算框架,让读者理解多种不同的分布式系统构建模式。

通过“”这种异步编程模式,让读者理解并掌握编写高性能程序的编程之道,领略Java高并发编程的乐趣。

不仅探讨实时流计算能够解决的问题,而且要明白当实在做不到“实时”时该如何进行架构设计

尽可能全面覆盖一个完整的实时流计算系统,包括许多周边系统,如存储系统、服务治理和配置管理等。如果这些“绿叶”点缀得不好,有时也会给实时流计算系统带来不利影响。

整体而言,本书的内容按照“总分”的结构组织。全书分为11章。

第1章 介绍了实时流计算技术的产生背景、使用场景和通用架构。

第2章 通过实时流计算数据的采集,详细分析Java高性能编程的理论基础。

第3~6 章从零构造一个分布式实时流计算框架,剖析实时流计算中的核心概念与技术重点,并通过多个开源流计算平台的实现来验证这些核心概念和技术重点。

第7章 讨论了当实在做不到“实时”时的备选方案。

第8~10 章阐述构建一个完整实时流计算系统时必要的周边辅助系统。

第11章 给出了2个实时流计算应用的具体案例。

新时代的大数据处理方式:实时流计算

本周六(3月7日)19:00-20:00

服务器和分布式系统开发人员

分布式系统架构师

实时流计算工程师和架构师

周爽老师将为大家深入解密新时代的大数据处理方式——实时流计算

九州云播、官方头条、京东自营店、天猫鼎甲图书专营店

四大平台同步直播 

新时代的大数据处理方式:实时流计算

文末给大家奉送一个彩蛋

新时代的大数据处理方式:实时流计算

对实时流计算感兴趣的小伙伴可以扫码加入交流群哦!诸多大佬会空降交流群深讨技术,更有精彩活动等着您来参加!

新时代的大数据处理方式:实时流计算

新时代的大数据处理方式:实时流计算

新时代的大数据处理方式:实时流计算

点击这里阅读原文,直达新基建专场