《Presto技术内幕》

编辑推荐

内容简介

目录

精彩书摘

前言/序言

序言1
　　12年来，京东一直以开源技术作为构建自身核心技术体系的基础，在开源领域深耕多年，积极推动行业分享与交流。JD-Presto是京东首个贡献于开源社区的软件产品，开创了京东回馈开源社区的先河。
　　一年前，JD-Presto研发团队是京东众多研发团队中的普通一员，时至今日，他们已成长为京东负有盛名的研发团队之一。一年来，他们忍受着孤独与寂寞，面对着无数困难与挫折，但他们从未放弃，凭着对技术的热爱、对信念的坚守、对优秀产品的执着追求，勇敢面对困难与挑战，历尽艰辛，终于迎来胜利的曙光。目前JD-Presto在京东内部已成功应用于精准营销、安全识别、商家后台、财务报表等十多个生产系统。京东为拥有JD-Presto研发团队而骄傲！
　　与书店里的Hadoop书籍不同的是，《Presto技术内幕》是市面上第一本详细介绍Presto的书籍。它由浅入深地详细介绍了Presto的安装过程、内部运行原理机制、功能特性、性能优化方法，以及在应用过程中常见的问题及解决方案等，同时详细介绍了JD-Presto版本的许多新功能及其适用的业务场景。这些功能的成功研发，使得JD-Presto版本不仅可用于离线大数据分析计算来提升性能，还可用于多种数据源混合进行实时大数据分析计算，使一些使用其他大数据技术不能解决的业务场景有了一个全新有效的解决方案。同时，他们维护着Presto在中国社区的建设，鼓舞着和培养了一群Presto的爱好者。
　　今天，国内已有越来越多的技术人员与公司在使用JD-Presto版本，相信《Presto技术内幕》能对读者学习和使用JD-Presto版本提供很大的帮助。《Presto技术内幕》不仅仅满足了初学者对技术书籍的渴求，也适合对JD-Presto版本有一定使用经验的人员学习参考使用。希望它能成为你在Presto技术旅程中的一个朋友，点亮你前进的道路。
　　张晨
　　京东集团CTO
　　

序言2
　　记得我刚加入京东的时候，Hadoop的集群建设方兴未艾，大数据计算纷纷被转到Hadoop中进行处理。然而，以前做数据挖掘的同学并不十分精通Java语言。他们更擅长于业务和SQL语言。为了让他们的工作更有效率、更得心应手，有必要找寻一个像GoogleDremel一样，以SQL为驱动的交互式Ad－hoc查询工具。于是我花了一些时间进行评估，包括Hive、Spark、Impala等，后来Facebook刚开源不久的Presto便映入眼帘。Presto设计简单精巧，可以处理海量数据，最大化地利用硬件性能，计算全部在内存中完成，很好地利用高速网络来进行数据调度，其编码风格一致，易于掌握和改进。虽然在当时Presto的数据源和SQL的支持度还有待丰富，但已经初步展示了发展的潜力，很适合京东的应用。Presto就这样在京东找到了家。JD-Presto研发团队成员具有多年JAVA编程和分布式并行处理经验，他们工作兢兢业业，在原先开源的基础上，丰富了多种数据源的处理接口，并且通过对任务调度的追踪和分析，改进并提升了并行处理任务的吞吐量。我们积极和Facebook的Presto团队合作，成为Presto在国内的首批贡献者，建立并运行Presto的中国社区。我们也和CSDN的同仁建立了Presto的开发者论坛，在国内积极推广，普及Presto知识，让更多的开发人员受益。
　　京东是开源社区的受益者，也是开源开放文化的拥护者。我们将自己取得的点点滴滴毫无保留地回馈于开源社区，与大家共享，和大家一起进步。为了更好地服务于对Presto有兴趣的研发人员，京东的同事们将平时工作中的积累和认识编辑成书，奉献给大家，希望他们的努力有助于读者学习和掌握Presto。在此，我特别感谢为此书出版而辛勤工作的同事，他们是吕信、郭李明、袁安峰、孔云龙、戴东东等人。
　　翁志
　　京东集团首席技术顾问
　　

序言3
　　Prestoisanopensource,highlyscalable,distributedSQLenginewedevelopedatFacebook.Sincereleasingittwoyearsago,wehavewitnessedatremendousamountofcommunityinterestandadoption.Inthelasttwelvemonths,thePrestocommunityhasgrownfromtechnologyfirmsinSiliconValleytoabroadvarietyoforganizationsworldwide.Today,NASDAQ,thesecondlargeststockexchangeintheUnitedStates,runsPrestotopowertheiranalyticalusecases.
　　（Presto是我们在Facebook开发的开源、高度可扩展的分布式SQL引擎。Presto在两年前发布后，大量的社区开始关注和后续应用Presto。在最近的12个月里，Presto社区已经一家硅谷科技公司成长为全球性的生态圈，涵盖一批多样化的组织。如今，全美第二大证券交易所纳斯达克也在使用Presto来驱动他们的案例分析业务。）
　　AsorganizationsadoptPresto,manyarecontributingbacktoit.Teradata,aleaderindatawarehousingtechnology,maintainsagroupofengineerswhocontributetoPresto.WehavealsocollaboratedwithengineersatJD.comsince2014tomakePrestobetter.Prestoearnedan"OpenSourceOutstandingProject"awardatthe2015ChinaOpenSourceWorldSummit.
　　（组织机构们不仅在应用Presto，他们中的一部分也在回馈Presto。Teradata，数据仓库技术领域内的引领者之一，拥有一支专门为Presto贡献力量的工程师团队。从2014年起，我们与中国电商领域引领者京东公司的开发人员展开合作，精益求精地打造Presto产品。随后Presto在2015年“第十届开源中国开源世界高峰论坛”上获取“2015COPU开源优秀项目大奖”。）
　　WehopeyouwilllearnmoreaboutPrestothroughthisbookdevelopedbyengineersatJD.com,andweencourageyoutoworkwiththecommunitytoimprovePresto.
　　（我们真诚地希望你通过这本由京东工程师们撰写的书更深入地了解Presto引擎，也鼓励并期待你携手社区，改善Presto引擎。）
　　JayTang
　　ManagerofPrestoproduct，BigData

前言
　　为什么要写这《Presto技术内幕》
　　相信很多软件开发人员在遇到应用系统涉及需要多种数据源、多种字符集下的混合计算时，都被数据的准确性和查询性能所困扰，一直以来都没有一个有效的技术方案能解决这个问题。2014年7月，京东CTO体系首席技术顾问翁志先生把Presto引入京东，数据准确性验证表明，Presto在多种数据源、多种字符集下的混合计算均表现优异，数据准确性符合财务标准。我们认识到，Presto是一个非常优秀的产品，尽管它有许多不足，我们决心把它打造为一个介于T+1计算和生产实时报表之间混合计算的大数据产品，支持秒级、分钟级获取查询结果、支持多并发的交互式Ad-Hoc查询与分析。Presto是一个较为完美的大数据实时计算解决方案，而市面上这类产品太少了，我们将经过生产环境验证的JD-Presto版本源给业内使用，主导Presto中国社区的推广工作。应广大Presto技术爱好者的要求，我们编写了这《Presto技术内幕》，以帮助更多的初学者、大数据领域的从业者学习及使用JD-Presto。和其他许多调研过Presto的部门或公司一样，我们最初搭建的Presto测试集群在京东这种大数据量的环境下复杂计算任务几乎运行不起来，JOIN查询也比较弱，集群时常宕机。同时，在测试过程中我们也发现，与Spark、Impala相比，Presto使用更为简单、易用、高效，这让我们深感振奋，一致认为这个产品值得团队花大力气去研究和优化。因此，我们专门申请了上百台高性能服务器来搭建性能测试集群环境，随后在几百TB级数据量下进行大规模的测试与验证，完全证实了Presto的平均性能是Hive等离线数据分析产品性能的10倍，并且支持ANSI标准SQL、数据源完全解耦等一系列优势。在之后一年多的时间中，我们研发了众多实用功能，着力修复了许多Bug，大幅提升了Presto的查询性能和并发执行性能，如重写了数据库驱动，使得Presto连接数据库进行海量数据查询的性能提升了几百倍；优化了内存使用效率，使查询性能对内存大小的依赖大幅降低；支持分布式数据库的分库分表设计；优化数据存储算法。通过上述一系列新功能的成功研发和对性能的大幅改进，使得JD-Presto的性能稳定是是Hive的10倍以上，是Spark的3倍以上，集群成本节省一半，在一个大规模的大数据集群中，这种技术优势可带来显著的经济效益。
　　

《Presto技术内幕》读者对象
　　Java研发工程师；
　　在大数据技术领域从业的研发工程师、运维工程师、架构师；
　　对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者；
　　从事海量数据分析应用的开发者、研究者。
　　

如何阅读《Presto技术内幕》
　　《Presto技术内幕》按照由浅入深的顺序对大数据实时计算产品Presto进行了全方位的细致讲解，从基本的安装部署与使用到源码解析，以及根据实际业务需求进行新功能改造开发和性能优化。
　　若你从来没有使用过Presto，那么完全可以按照由浅入深的顺序从头开始阅读此书。
　　若你已经成功地使用了Presto一段时间，想要深入地了解Presto的设计思想并希望从源码级别了解Presto的实现思路，那么可以直接从核心设计篇进行阅读。
　　若你本来就是Presto的贡献者，苦于Presto不能满足你的实际业务问题，想要对Presto进行功能改造但是还没有明确的思路；又或者你在使用Presto的过程中发现其性能没有达到你的预期，而又找不到优化的方案，那么高级篇会给你提供一些建议。
　　在《Presto技术内幕》最后的附录部分不仅对Presto使用过程中出现的各种问题给出了明确的解决方案，还对Presto中的各个配置参数的含义和作用进行了详细的说明并给出了推荐配置值。
　　相信此书会为广大大数据爱好者提供一个新的视角，思考并解决大数据相关问题。
　　

勘误和支持

由于作者水平和能力有限，编写时间仓促，《Presto技术内幕》存在不妥之处在所难免，我们真诚希望同行和广大读者朋友们不吝赐教。另外，如果你有关于JD-Presto的任何问题，可以加入我们的QQ群：141254058，与我们在线交流，或者访问网站：http://prestodb-china.com/，期待你的反馈意见，我们将不胜感激。
　　

致谢

感谢现任京东CTO体系首席技术顾问、信息安全部、京东硅谷研发中心负责人翁志先生，在产品研发和推广使用的过程中给予了我们极大的支持和鼓励。同时在《Presto技术内幕》出版的过程中，从选题、审稿到出版无不得到他的热心帮助，在此致以深深的谢意！
　　感谢京东云平台——数据研发运营部的负责人樊建刚先生给予我们充分的授权和支持，他鼓励我们将产品开源、组建技术交流群和中文社区，使得JD-Presto成为京东第一个开源的软件产品，开创京东回馈开源社区的先河。
　　感谢研发团队的兄弟们，他们酷爱技术、注重团队协作、深入理解客户需求，能从一个较为全面的角度考虑产品的架构设计与功能研发，这是产品成功的基石，也是最关键的因素。
　　回首这一路的艰辛，无以表达此时的心情，只能说，兄弟们所做的一切都让我心怀崇敬！
　　戴东东
　　2016