【每月好书】决战618:探秘京东技术取胜之道
和老规矩一样,本月月考的奖品就是《决战618:探秘京东技术取胜之道》两本。不知道什么是月考的同学,请补习下面文章:
每月送书活动来袭,免费哦!
规则就说到这里,下面是书籍介绍。
-----------割------------
决战618:探秘京东技术取胜之道(全彩)
(万亿级流量系统的技术宝典)
京东集团618作战指挥中心 编著
ISBN 978-7-121-32730-8
2017年11月出版
定价:99.00元
348页
16开
编辑推荐
京东数百位技术专家对618关键技术系统的全面梳理和总结!
揭秘京东12年技术奋战之路!
全面呈现京东技术体系目前已达到的出色成就
介绍电商平台全产业链技术创新技术架构
展现未来大数据、AI全新应用场景
全面、客观地描述了京东618技术演进之路!
揭秘技术如何驱动业务增长、提升用户体验、产生创新力!
刘强东、杨强教授、京东集团高级副总裁马松亲自写序
周鸿祎、叶荫宇教授(美国斯坦福大学杰出终身教授)、蒋涛、霍泰稳等均有赞誉
内容提要
《决战618:探秘京东技术取胜之道》以京东技术团队备战618为主线,集合京东数百位技术专家,对京东所有和618相关的关键技术系统进行了一次全面的梳理和总结,是京东技术体系的智慧结晶。
《决战618:探秘京东技术取胜之道》从前端的网站、移动入口到后端的结算、履约、物流、供应链等体系,系统展示了京东最新的技术成就。同时,也涵盖了京东正在充分运用大数据、人工智能等先进技术对所有技术体系架构进行整体改造,使其始终保障技术的先进性的方法,以及京东对未来科技发展的积极探索和展望。
618盛况往往意味着汹涌的流量洪峰,京东技术团队如何保证其背后庞杂系统的安全、可靠与稳定,如何确保系统的高可用性、高并发性、高可扩展性,如果您对此有兴趣,请随《决战618:探秘京东技术取胜之道》一探究竟吧!
目录
第 1章京东618前世今生
1.1京东 618研发奋战之路 / 2
1.1.1发轫之始(1998—2003 年) / 2
1.1.2奠基之初(2004—2009 年) / 3
1.1.3收获之期(2010—2016 年) / 3
1.1.4未来已来(2017 年以后) / 5
1.2京东 618技术备战概览 / 6
1.2.1技术备战工作重点 / 6
1.2.2技术备战利器 / 7
第 2章万亿交易——丝滑平顺,坚如磐石 / 9
2.1永不消失的网站 / 10
2.1.1首页优化之路 / 10
2.1.2商品详情页的架构变迁 / 12
2.1.3分类列表探索之路 / 14
2.1.4网站监控 / 16
2.2交易平台 / 17
2.2.1交易平台技术演进 / 18
2.2.2交易平台架构揭秘 / 21
2.2.3商品评价系统 / 24
2.2.4质量控制 / 28
2.3京东支付——更便捷,更省钱 / 31
2.3.1移动支付 / 32
2.3.2交易系统 / 33
2.3.3自动网关 / 36
2.3.4智能决策 / 38
2.3.5支付未来 / 41
2.4白条业务——先消费,后付款 / 42
2.4.1智能授信 / 42
2.4.2便捷交易 / 45
2.4.3白条精细化营销 / 47
第3章移动互联——便捷个性,体验至上 / 51
3.1超级流量入口——App / 52
3.1.1基础服务 / 52
3.1.2技术支持 / 54
3.1.3通天塔 / 57
3.1.4秒杀系统 / 59
3.1.5M站 / 61
3.1.6核心流程 / 62
3.2渠道引流核武器——微信手Q购物 / 67
3.2.1业务支撑修炼之道 / 67
3.2.2技术运营发展之路 / 73
第4章基础保障——坚实高效,安全稳固 / 81
4.1基础架构 / 82
4.1.1容器集群 / 82
4.1.2数据库 / 85
4.1.3中间件 / 87
4.1.4智能运维 / 93
4.1.5异地多活 / 97
4.2天网系统——商城风控 / 100
4.2.1发展历程 / 101
4.2.2天网重点业务 / 101
4.2.3天网系统架构 / 102
4.3流量支撑平台 / 106
4.3.1稳定压倒一切 / 106
4.3.2基础网络 / 107
4.3.3京东高可用前端接入系统JFE / 110
4.3.4京东CDN / 113
4.3.5防攻击系统 / 115
4.4反刷单——为京东交易生态保驾护航 / 118
4.4.1反刷单系统架构 / 119
4.4.2特征工厂 / 119
4.4.3决策引擎 / 120
4.4.4下游管控 / 120
4.5信息安全——重于泰山 / 121
4.5.1筑起安全的长城 / 121
4.5.2来自攻防第一线的博弈 / 125
4.5.3全民保障618 / 128
4.6揭秘京东大促数据屏墙 / 130
4.6.1系统概述 / 130
4.6.2系统实现 / 131
4.6.3系统价值 / 134
第5章智能履约——瞬息万里,使命必达 / 135
5.1智慧供应链 / 136
5.1.1智慧库存 / 136
5.1.2深度协同 / 140
5.1.3智慧定价 / 145
5.1.4智慧履约 / 148
5.1.5618系统质量保障 / 154
5.2智慧物流 / 155
5.2.1精准履约与运营数据服务 / 155
5.2.2智慧仓储 / 161
5.2.3智能配送 / 165
5.2.4无人机、无人车和无人仓 / 174
5.3智能客服 / 181
5.3.1咚咚和JIMI历史演进 / 181
5.3.2产品形态与业务模式 / 182
5.3.3京东咚咚和 JIMI架构体系 / 183
5.4智能财务 / 187
5.4.1结算的秘密 / 187
5.4.2你下单我算账,你不知道的来龙去脉 / 193
5.4.3税控背后的故事 / 201
5.4.4智能资金管控 / 205
第6章赋能商家——生态共享,虚拟征程 / 209
6.1开放平台营销系统 / 210
6.1.1促销系统 / 210
6.1.2订单系统 / 211
6.1.3结算系统 / 213
6.1.4商家系统 / 215
6.2生态系统,保驾护航 / 219
6.2.1京盾系统 / 219
6.2.2正阳门系统 / 221
6.2.3星盘系统 / 223
6.2.4商智 / 225
6.2.5京麦 / 229
6.3虚拟平台的618征程 / 231
6.3.1智能调度出口流量平台 / 231
6.3.2虚拟业务黄金交易流程 / 233
6.3.3京东户簿建设之路 / 236
6.3.4虚拟业务的风控挑战 / 239
6.3.5虚拟业务全渠道推进 / 241
6.3.6质量保障与实战方案 / 243
6.4创新业务 / 246
6.4.1京东的“海外丝绸之路” / 246
6.4.2营销产品技术的变革 / 249
6.4.3京东B2B征程 / 254
6.4.4重点创新电商业务 / 257
第7章智慧营销——知你所想,予你所求 / 263
7.1智慧营销 / 264
7.1.1智慧营销平台的前世今生 / 264
7.1.2促销七十二变 / 266
7.1.3优惠券三十六计 / 268
7.1.4购物助手 / 269
7.1.5智慧营销生态化 / 271
7.2智能广告 / 273
7.2.1原生广告 / 273
7.2.2站外流量赋能商家 / 276
7.2.3PINO人工智能 / 277
7.2.4反作弊系统 / 278
7.3精准搜索 / 281
7.3.1搜索架构演进 / 282
7.3.2分布式搜索引擎 / 283
7.3.3数据索引 / 284
7.3.4搜索系统的DevOps之路 / 285
7.4智能推荐 / 287
7.4.1推荐产品 / 287
7.4.2推荐系统架构 / 288
7.4.3数据平台 / 290
7.4.4关键技术 / 291
7.5玩转大数据 / 296
7.5.1大数据综述 / 296
7.5.2技术平台 / 297
7.5.3数据仓库 / 303
7.5.4数据应用 / 307
第 8章项目管理——运筹帷幄,万众一心 / 313
8.1618 项目管理挑战 / 314
8.1.1项目管理的难度 / 314
8.1.2项目经理能力要求 / 315
8.1.3618 项目经理需要承担的角色 / 316
8.2618 项目管理实践 / 316
8.2.1启动阶段 / 316
8.2.2规划阶段 / 317
8.2.3执行阶段 / 319
8.2.4监控阶段 / 325
8.2.5收尾阶段 / 326
8.3项目成果 / 326
参考文献 / 329
作者简介
京东集团618作战指挥中心
这里汇集着近200位京东最顶尖的研发人才,是京东最宝贵的财富。他们都是来自于京东各体系的技术大牛,既有核心系统的架构师,又有扑在一线的运维专家,既有奋战在科学前沿的研究型学者,又有在人工智能、大数据应用方面有一定建树的科学家。他们平时分散在各个部门,是各个部门的中坚力量,每到吹响618战斗号角的时候,他们会不约而同的聚集在这里,确保流量洪峰来临时系统安全、稳定、可靠,并提供最佳的用户体验。本书就是他们的扛鼎之作。
媒体评论
技术需要积累,需要沉心静气努力钻研,但同时也需要同行之间的相互交流。京东作为国内领先的互联网公司,技术团队有丰富的项目实操经验,能够在这样一本书里将京东最重要的“618”项目备战经验,尤其是一些技术研发细节如系统架构信息总结分享出来实属不易,值得研发同行一读。
——周鸿祎
360公司董事长兼CEO
618是京东的生日,更是广大网民的年度购物狂欢节。2017年的618期间,京东的下单金额累计达1199亿元。这个数字的背后,绝对是一场看不见硝烟的IT技术人集体大会战。
作为国内电商的领先者,18年来,京东在技术实力和创新性上,都始终站在浪潮前沿,618更是其综合实力的集中呈现。我个人非常推荐这本书,她从一个个订单的诞生开始,到移动体验和智慧服务的实现,再到智能物流以及强健的基础支撑体系的打造,如庖丁解牛般地逐层分析,让读者既能站在整体架构上一窥全局,又能从实战中得以了解技术内幕,是一本难得的电商类技术图书佳作。
——蒋涛
CSDN &极客帮创始人
大数据时代,数据驱动的科学决策正成为企业资源优化配置的利器。京东是目前国内电商中最重视数据技术和商业智能结合的公司之一,书中也非常详尽地介绍了京东在618备战前后是如何运用这些数据来科学决策的,对于电商从业者乃至所有希望获得商业智能的公司都是非常好的借鉴。
——叶荫宇
美国斯坦福大学管理科学与工程系及计算数学工程研究院杰出终身教授, K.T.Li (李国鼎)首席教授(Chair Professor)
拿到这本书的样稿时,我脑海中第一闪现的,是刘强东在京东十二周年的庆典大会上提到的京东发展战略,他说“未来的十二年,京东将全面技术化,大力发展人工智能和机器人自动化技术。”我想这本书是对京东技术战略最好的呼应。
技术能否落地一直是很多公司的大难题,但京东研发团队做到了。短短几年内,他们快速成长,很好地支撑了业务的全面发展。这本书详细阐述了618这个年度营销重头戏背后研发团队的努力,对于从事电商工作的技术人员来说,是个不错的参考。
——霍泰稳
InfoQ中国创始人、极客邦科技创始人兼CEO
前言
序一
技术引领 开创京东新未来
2017年的开年大会,我给所有京东人做了一场不太一样的演讲,主题只有一个——技术!
从写下京东的第一行代码开始,到看着它一步步成长为先进技术、架构、模式的领先应用者,京东技术的飞跃发展让我感慨万千。而京东技术的大考,便是每年一次的“决战618”。
回首十几年前,京东的618都是在焦灼中度过的。一方面,我们期待大量的用户能参与到我们的促销中来;另一方面,我们又担心网站是否能够承受这样的访问量,是否会宕机……而如今,618已从京东店庆日发展成为了一场全民参与的消费狂欢和行业盛会,在618作战指挥中心的大屏幕上,不断攀升的曲线,跳跃的数字,都让我们充满信心和自豪感。
这是所有京东技术人打造的硬实力,《决战618:探秘京东技术取胜之道》正是对于京东过去十三年间技术整体发展的总结和盘点,代表了京东已经达到的出色技术成就。
着眼未来,时代正在发生剧烈的变化,科技的进步速度会越来越快,科技对人类、对企业产生的影响将超过过去100年,科技对我们每一个人、每家公司、每个企业,甚至学校、非政府组织,都会带来巨大的改变。
但零售的本质从未发生改变——依旧是成本、效率和用户体验!未来,京东将全面地向技术转型,让技术从被动应对变为主动引领,持续优化成本、效率和用户体验,打造一个包括智能商业、智能金融、智能保险业务在内,全球领先的智能商业体。
此前,我们用了很长时间让大家认同京东是一家非常成功的零售公司,我坚信,接下来我们会用同样长甚至更短的时间,让大家认同京东是一家非常成功的技术公司。创新一直都是京东人弥足珍贵的品质和锐意进取的动力。公司也将从文化重塑、组织结构、激励方式等方面寻求巨大的改变,给予创新以包容和试错,保障技术转型的全面落地。
我期待京东的技术团队在未来京东全面的转型之中,不仅要继续对京东业务发展提供强有力的技术支撑,还要通过技术创新和对未来技术发展方向的洞察,让京东始终站在行业的制高点,通过技术创新产生新的价值。同时,京东的技术也会更全面开放赋能,让更多企业从中受益,从而推动整个经济的发展。
京东研发的兄弟们,你们一定可以做到!
刘强东
京东集团董事局主席兼首席执行官
序二
决战618背后的技术实质,是未来的人工智能
提到618,消费者会想到大量的促销,琳琅满目的商品,对于技术人,则会立刻联想到海量访问和订单,以及对整个系统的压力。当这本样书送到我的手中时,我第一个想法就是——这一定是本涵盖各种高抗压架构、应急预案管理的“IT书”;但仔细读下来,我却欣喜地看到大量人工智能的应用。在“决战618”背后的关键技术中,是未来的人工智能。
人工智能无疑是当前最为热门的技术方向,在一些领域取得了初步的成就。而人工智能应用要想更快速地发展,则需要依赖于大数据的收集、挖掘和应用。京东作为中国线上线下最大的零售商,完整覆盖从采购、售卖到配送、客服等全电商流程,拥有中国电商领域最完整、最精准、价值链最长的数据,为人工智能的充分实践提供了丰富的数据基础。这些数据为京东发展人工智能的应用提供了肥沃的土壤。 基于这样的数据, 人工智能可以用来分析用户需求,进行自动定价,自动补货,可以支持无人仓储,也可以利用无人车和无人机送货。在书中,我们可以看到京东通过人工智能的研发与实践也在不断地推动着电商的革新。
例如,在图像识别、语音识别方面,商业上已经有了很多很好的应用案例,今天我们都是这些应用的享用者及受益者。拿京东的JIMI人工智能客服机器人来说,其在机器学习、深度神经网络、知识图谱构建、自然语言处理方面均有较深的研究和分享,这一部分内容在本书第5.3节中有很好的梳理和分享。
但是同时我们也在思考,这些人工智能的成就到底得益于哪些条件呢?为什么这些成就在十年或者二十年以前却没有出现呢?如何能够去预测一项人工智能技术,是不是能够产生它所预期的作用?
仔细读这本书,会发现问题迎刃而解。读下来,你会发现,书中各个章节的分享都离不开人工智能的技术,如智慧供应链通过大数据分析与深度学习建模,从提供给京东采销内部使用到现在成为开放给外部供应商的基础设施;不同于传统的人工智能项目中对于广告的玩法、面对个性化的推荐应用,京东如何对复杂问题提取特征,建模和高效训练,做到在很短的时间内对每一次广告、推荐请求作出毫秒级预估服务。可以看到,这些都是基于京东清晰的商业模式需求、高质量反馈的大数据、清晰的问题定义和使用领域边界,以及擅长算法的、跨界的人工智能人才。而更让我兴奋的是,以618 为代表的大量应用场景和运营产生了大量的精准数据积累,也为人工智能的应用铺平了道路。
从人工智能的长远发展来看,我一直觉得基于实验室的研究工作和接触大规模复杂的工业问题是不可分割的。在人工智能的研究中,在实验室工作、参加学术会议或者拜访一些其他的实验室,可以关注整个业界的最新发展;而在工业界,可以大规模地利用人工智能来解决实际应用上的痛点问题。这本书告诉你,京东,是工业界人工智能应用的一个典范,通读此书,想必会受益颇多。
杨强
香港科技大学计算机系主任及大数据研究院院长、教授
序三
618,打响技术攻坚战
京东618始于京东的店庆日,现在早已演变成为全民参与的网购狂欢节。2017年6月18日,当京东总部的618战报大屏定格在“当前累计下单金额1199亿元”时,欢呼声、掌声响彻整个作战指挥室。在成绩背后,充分体现出京东的技术硬能力。对于京东技术人来讲,每一年的618都是一场巨大的考验,而在这样一个考验面前,从来就不允许失败。
作为京东商城研发体系的负责人,2012年临危受命,成为京东618的技术总指挥,在此后5年中,我带领技术团队,发起了一场又一场技术攻坚战,见证了京东618如何促进技术发展、推动技术创新、激励团队协作。作为技术老兵,我想告诉大家,京东618不只是一次购物节,更是一场战斗,一场弥漫着你闻不到硝烟的战斗。
2012年6月18日,随着业务的高速发展,京东的订单量骤增。当时的内部业务支撑系统已经达到上千个,作为一个靠快速迭代出来的系统,我们的系统架构、服务框架、质量控制体系等都没有做好准备。618当天,在面对瞬时访问峰值骤增的情况下,一些系统的服务质量严重下降,导致POP商家看不到新的订单信息,造成商家无法履约等严重问题。
架构升级迫在眉睫,统筹规划也势在必行,618技术团队开启系统升级、团队协作的作战之路,系统每年都有更新、演变。2013年,京东的交易系统开启了去Oracle、去SQL Server行动,减少对商业数据库的依赖,引入开源可控的数据库,提升系统的稳定性;自主研发JFS、JMDB、JMQ、JSF等中间件和分布式存储系统,支撑全京东的无数业务。2014年,建设指挥中心大屏,实现对核心销售、安全监控、性能监控、京东直播、运营生产等全面监控;2015年,完成多中心交易项目,交易数据的多中心化,大规模Docker化部署,极大提升了资源利用率和生产效率;2016年,率先引入了“对抗军演”,通过模拟故障制造和故障恢复,极大地检验了故障预案可行性,考验团队处理随机事件的响应能力。2017年,数据驱动备战,技术改变生活,为京东第四次零售革命奠定坚实的技术基础。通过前期的不懈努力, 2015年后,618已变成技术团队对京东业务、对供应商、对商家、对用户展示技术硬实力的舞台。
618从不是一个人、一个团队、一个部门在战斗,而是所有的京东人都在参与,是一场需要多兵种协同作战的战斗。在2017年的开年大会上,京东集团董事局主席兼首席执行官刘强东先生为京东未来12年的发展奠定了基调,“技术、技术、技术”,京东未来将是一家技术公司,一家依靠技术创新进行商业发展的公司。同时,第四次零售革命的到来,给我们带来了机遇,也带来了全新的未知挑战。因此,打造一个懂得协同、能打硬仗的团队已经成为我们首要的任务,相信在不久的将来,大家会看到这个变化。
本书全面、客观地描述了京东618技术演进之路,从产品规划、技术实现的不同维度,阐述了各个系统的发展之路。不管是产品经理、程序员、测试工程师,还是网店店主、互联网其他从业人员等, 都能找到自己感兴趣的内容。
阅读这本书,感觉又回到了那个熟悉的指挥中心。展示着战报的实时大屏,屏幕上跳动的数字, 一起熬夜备战的兄弟们……一切都历历在目。在此,谢谢所有参与本书创作的同学们,是你们让京东618以另外一种方式呈现在读者面前,让读者重新认识了京东618,重新认识了京东技术人。
马松
京东集团高级副总裁
前言
过去,技术通常被看做是一切业务的基础,是支持业务发展的动力之一。通过技术可以把传统的业务流程数字化、信息化,让业务人员从事更具决策性或创造性的任务,所以技术常常被看作是一种工具。但是,随着人工智能、大数据、云计算的高速发展,大企业逐渐意识到技术不仅仅是工具,它可以驱动公司业务增长、提升用户体验、产生越来越多的创新力。特别是在互联网经济带来的天翻地覆的变革中,人们深刻感受到技术无疑是这次变革背后最大的推动力,企业要进一步发展,必须依靠技术领先与技术创新。因此,技术已成为各大互联网公司的必争之地。
作为这次互联网变革中的参与者与受益者,京东通过技术创新,在成本、效率、用户体验三大维度上取得了巨大成功。京东已由传统电商企业转变为一家以技术创新去改变传统零售、传统物流、传统金融乃至一切与用户体验相关的公司。在京东一次次地刷新618创造的天量交易额的同时,外界一次次为之震惊赞叹。众所周知,当企业的业务量达到一定规模,同时对发展速度有非常高的要求时,技术如何满足业务需求将会变为巨大的挑战。特别是像京东这样体量的互联网平台,在618期间面临的技术压力在整个IT技术领域也是比较罕见的。人们不禁想问,京东是如何做到的?为了与广大技术人员分享京东人在618备战中所做的技术保障工作以及积累的实践经验,推动行业技术进步,我们特推出此书。
本书是众多一线技术人员的智慧结晶,是无数团队历次攻坚克难的经验总结,更是所有参与备战的项目组人员的全面回顾与理性思考。本书基本囊括了京东所有的技术体系,是对业务保障方面技术的全面梳理,特别分享了京东在弹性云、多中心交易、高可用架构、平台化、风控系统等领域的实践经验。读者从中可以体会到,618的出色表现既得益于京东坚实的基础架构、稳妥的应急预案、成熟的调度指挥,又得益于先进的人工智能技术。
本书内容是理论与实战相结合,涉及的知识点较多、信息量较大,读者可以按顺序阅读每部分,也可以从中选取自己关心或感兴趣的章节阅读。
感谢所有为本书做出贡献的京东研发、公关、图书等部门的同事。正是你们的全力支持和理解,利用节假日和休息时间加班加点写作、修改,本书才得以按时完成撰写与出版。本书整个的写作与出版过程也再次体现了京东人的高效和协作精神。同时,也特别感谢电子工业出版社博文视点的编辑们,正是你们的全力支持和配合,才得以让本书在不到两个月的时间出版。正是通过我们双方的努力,共同创造了出版奇迹。
由于时间仓促,书中难免有疏漏之处,敬请广大读者批评指正!
- 决战就业季!用人单位开价80万抢人,多地政府频放大招…
- 每月零花钱不够花,男子把钱藏鞋底,老婆发现后,场面一度失控
- 【回顾】“暑假读一本好书”陪伴你我十年,在书香里说成长的故事
- 冬季,读本温暖的好书 ▏ 文艺联合书单第12期
- 广济医院儿少门诊量每月近千 抑郁症排行第一
- 花5万元投资快递柜,每月能返1500元
- 5万投资快递柜每月返1500?杭州很多大伯大妈被套路
- 湖南娄底首批668名全科医生进村服务 每月驻村不少于20天
- 【房产前瞻】北京非核心区房租上涨:大兴单间每月租金上涨超200元
- 早知道调一下冰箱这个按钮,每月能省好多电费!