携程技术演进之路

作为互联网OTA在过去20年的发展过程中，携程在业务形式和互联网行业整体发展的推动下，经历了三轮技术体系的演变。本文将详细介绍这一技术演变过程，希望能给互联网企业，特别是早期互联网企业一些参考和灵感，帮助您避免一些弯路。

1、携程目前的技术体系

携程的最新财务报告显示GMV近7000亿，已成为世界第一在线OTA。支持这么大业务量背后的技术体系，规模也很大。

目前携程研发人员近4000人，每周发布8000 ，应用10000 ，主机实例80000 。

在中国大陆、香港、欧洲、美国等地都有许多数据中心。此外，核心数据中心之间实现了高可用性和灾难准备计划，网站可用性达到49个。

上图由携程技术系统组成，绘制相对简单，远不能反映当前携程系统结构的复杂性。

主要包括三大块：

第一个系统架构由无线大前端平台、分布式框架、中间件和分布式大数据存储组成。

第二个是基于基本框架的非常复杂的业务系统，包括携程酒店、度假、机票等业务的订单和商品中心的产品数据。

第三，授权系统。例如，大数据和人工智能平台将收集大量的大数据，并进行深入的数据挖掘和推荐。运维部署保障中心，通过强大的监控中心和运维系统保障系统，统一管理整个服务器的资源。

二、携程技术演进路线

携程技术演进路线大致可分为三个阶段：

呼叫中心时代主要由线下业务驱动；互联网 移动互联网时代，产品技术驱动；数字 AI时代以大数据驱动为主。

这三个阶段很长，经历了一个非常复杂的演变过程。总的来说，技术的发展取决于互联网行业的业务形式和发展变化。

这里提一下携程的业务特点，携程算是O2O企业和其他企业的鼻祖O2O一样的特点，比如线下重，线上轻；对资源重度依赖；线下流程复杂，像我们常说的三流企业（信息流、物流、资金流）；属于典型的ERP形式。不同的是携程是Offline To Online递进，现在通常说O2O递进顺序是相反的，但每个人的最终业务形式都是相似的。

2.1 呼叫中心时代

2.1.1 商业场景

呼叫中心时代是许多老携程人经常怀念的时代。携程最早的客户业务始于发卡。当时，在火车站、汽车站和机场，我们的业务人员拿着携程的会员卡发放。

会员卡上有两个关键数字，一个是 ** ，一个是携程呼叫中心的电话号码。客人想出差预订酒店，只需打携程呼叫中心电话，报 ** ，建立了用户关系。

所以当时的流量入口是电话。

这一业务场景也决定了携程与一般互联网公司之间的一些差异。由于交通入口是电话，携程通过代替用户操作座位人员，因此对座位的操作规范和服务流程有非常严格的要求。但由于用户不直接接触系统，用户体验非常弱。

2.1.2 技术体系

这一时期的技术体系具有初创企业的典型特征。

首先，架构相对单一，主要业务逻辑写在数据库层面。当时，我们主要使用微软Windows平台，ASP SQLServer这样的系统结构。和很多互联网公司一起，刚开始的时候就采用了。LAMP系统架构相似，通过脚本语言和数据库快速构建系统。这种系统架构的缺点是耦合度高，可扩展性差，开发发布快。

当时，新产品和业务的建立都是基于C2P（Copy To Paster）模式是主要的。如果你想快速开展新业务，最简单的方法就是复制粘贴，直接复制原始代码进行修改。例如，携程酒店是我们的第一家业务，机票是第二家，我们直接复制酒店代码，然后更改它。

综上所述， 快速迭代、快速开发、快速发布非常符合业务快速发展的需要，但耦合高，扩展性差，系统结构没有优化，后面挖了很多坑。

2.2 互联网和移动互联网时代

2.2.1 商业场景

1999携程年近2005年，2006年，都是以呼叫中心模式完成的。

2006自2000年以来，随着早期电子商务网站的开始，许多用户的行为习惯逐渐转向互联网，他们更习惯于在网上购买商品。因此，随着用户行为的变化，携程的流量入口也从电话转向Online，后来的移动终端APP。

2.2.2 技术体系

现阶段的技术体系与大型互联网公司相似，主要支持大流量并发访问和稳定性，扩展性强，各应用分层。

分层有很多优点。首先，通过分层隔离和透明每层业务，解耦更多，部署方便。这样，当有大流量时，可以快速扩展，分担流量，平衡负载。

第二，可以做高可用性。每一层应用程序都部署在多个服务集群上一个集群挂断时，另一个集群可以很快上升。

另一种是子系统之间的解耦可以通过服务化进行。我们将所有以前的两层结构转换为三层结构，三层结构转换为四层结构。同时，由于不同的子系统被拆分，子系统之间的相互调用SOA以服务为基础。

这样，基于核心服务系统的业务系统就可以非常快速地建立起来，用于各种前端，包括Online、手机、Offline，统一接口，统一规范。当时提出的口号是:open API everywhere.

它的好处是大型互联网站必须具备的。我们称之为3 1模式，高并发性、高性能、高可用性和高扩展性。

2.2.3 转型痛点

现阶段可以说是携程整个技术体系转型最大、最痛苦的阶段。这里列出的一些痛点现在可能不算什么，但当时还是困扰着我们。

例如：

1）业务的快速发展跟不上

我们早期的复制粘贴模式在快速应对业务发展的早期阶段发挥了很好的作用。但后来，随着业务的快速发展和流量的翻倍，这种模式并不合适。以前的技术系统本身是两层架构，应用程序只能部署在单个服务器上，高并发性能力有限。扩展性很差，不能在大型应用程序之间进行分层和部署，也不能支持应用程序隔离和应用程序多集群部署。

痛点是前期越快，后期越慢，必须重构应用架构和物理架构，成本很高；

2）子系统的拆分边界不清楚

和许多互联网公司一样，携程早期复制并粘贴了许多垂直的烟囱式独立系统，其中有许多重复的部分。

以支付为例。当时，我们将支付收集信息放入系统，酒店放入酒店集群，机票放入机票集群。付款完成后，我们将信息收集到数据库中。

在这种情况下，如果银行需要更改信用卡授权代码，每个系统都需要重新完成，新功能的在线协调和沟通成本非常高。系统的边界不清楚，你有我，我有你。

后来我们做了一个SOA拆分子系统的项目，重新整理业务流程，拆分一些重复的子系统。事实上，无论是酒店、机票、度假业务，有些流程都是相似的，如预订，先查询，然后下订单、付款、发送消息通知。

重复子系统拆分后，成为支付平台、新闻平台、物流配送平台等闻平台、物流配送平台等。该项目持续了两年，为携程平台的转型奠定了坚实的基础。

3）流程拆分复杂

过程非常复杂，牵扯到流程改变，流程重新划分，系统再改造的过程。这块不做过多阐述，总结下来就是：是公司的业务复杂度，决定了流程复杂度，从而决定了系统复杂度，一环一环传递下来的。因此系统的改造必须先从优化业务流程入手，而不是相反。

4）复杂的分层系统架构

拆分不同的系统后，你会发现简单的事情变得非常复杂。

以支付为例。如果您在系统中下订单并支付，则在支付成功后返回订单状态-交易完成。如果不成功，事务将回滚。当订单和支付都在同一个系统中时，我们只需在中间件模块中使用微软transaction server机制，嵌入代码，成功commit，失败了就rollback，结束了。

然而，当它被拆分为不同的子系统时，支付平台和订单订单流程不在同一系统中，甚至不在物理服务集群中。如何确保事务提交的完整性？此时，只能通过类似的状态机器回调和消息队列解耦，以确保最终状态的一致性，并大大提高复杂性。

另一个例子是缓存。在一个系统中，每个服务器中的缓存数据都是独立和一致的。如何确保每个服务器中缓存数据的一致性？

当然，随着技术的发展，背后有很多系统，比如Redis这种中间缓存数据中间件可以通过hashcode分布式缓存问题得到了更好的解决。但在当时，这也是一个难题。

2.3 大数据和人工智能时代

2.3.1 业务场景

现阶段，依托海量用户和海量数据，开发个性化、数字化的平台，通过AI赋能。在我看来，所有的电商平台系统最终都会演变成这种形式。

2.3.2 技术体系

现阶段携程的技术体系主要是ABC战略。从下到上依次为：

C——Cloud(云)云计算、网络、存储；

B——Bigdata(大数据)整个集团数据在云上集成、共享、交换、开放；

A——AI(人工智能)，在B做个性化、数字化、人工智能；

目前携程AI赋能主要体现在两块：

一是营收增长，做精准营销，个性化推荐，提高转化率。

最近，我刚刚看到淘宝宣布，在双11期间，点击淘宝个性化推荐产品页面的用户的订单数量已经超过了积极搜索的用户。节省的用户成本和订单转换率成本都相当可观。这进一步证明了基于大量数据开发的个性化和数字特征对电子商务平台的重要性。

这将是电子商务未来发展的总体方向。事实上，今日头条、抖音等内容信息平台通过个性化的大数据驱动和分发，大大提高了用户粘性，从而先到先，远远落后于对手。

第二部分是客服机器人和人工智能AI数据挖掘。

携程有一个大型呼叫中心，拥有1万多人，为我们的客人提供服务。携程可以通过客户服务机器人部分取代座位，降低成本，提高效率，加快服务响应。

在这个过程中，我们也遇到了很多问题，比如语音识别的准确性，可能不支持多轮人机对话。如果我们的语音识别率每次可以达到90%，一轮对话90%，两轮对话只有81%。你可以想象最终的准确性。

那怎么做呢？

可以想象，当你出国时，你的语言是无法理解的。如果你只用语言点菜，效率相对较低。此时，如果商家拿出菜单，你只需点击菜单告诉商家这个，这个就结束了。

因此，我们的智能客户服务也应该以多种方式与用户进行信息交流。用户和机器人不仅可以通过文本和语音，还可以在最短的时间内实现信息交流的目的，提高效率。

这里简要介绍一下携程的技术演进。现在回想起来，携程的这些过程与其他大型电子商务平台非常相似，所谓的同一目的。每个人都通过不断的迭代、重构、引进和吸收新的技术和概念，一步一步地走到今天。

我们还在路上，相信以后会一直在路上。

携程技术副总裁李小林，平台研发中心负责人。IT目前负责携程基础设施平台的互联网技术研发已有20多年的历史。本文来自李小林在2018携程技术峰会上的分享。

更多携程技术人员一手干货，欢迎携程技术中心微信公众号~