大规模网站架构技能原理透析

就产品开发层面来讲，互联网开发确实简略多了。这里首要弄清一个概念，我所说的互联网开发并不是指一切的B/S使用，例如B/S办法的银行内部事务体系。我所说的互联网使用是指在互联网上服务于公众的使用。企业级的事务体系，它的特点是事务逻辑是比较杂乱的，但用户一般不太大；互联网使用则相反，事务逻辑一般很简略，但面临的是海量用户。

既然互联网使用开发的事务逻辑不杂乱，但为什么大型网站都投入了那么多的技能人员呢？首要是因为运营的环境太杂乱，这种杂乱性构成的原因以下：

1、揭露性

网站的服务是揭露的，任何人都能够来拜访，所以就会直接面临大量的不良用户，体系数据的安全面临很大的危险，一旦体系被攻入，成果将是灾难性的。

2、拜访量大

拜访量大，就意味着网站有必要能够接受高并发大流量的考验，假如网站的服务才能和健壮性等达不到要求，你的体系就会被冲垮。

3、用户体会

用户体会要好，除了产品规划的要素之外，就要求拜访网站的速度要快，具有高可用性，别用一会就挂。

网站各子体系怎么进行布置，怎么进步体系的健壮性和高可用性，怎么完结网站的安全，怎么进步拜访速度，怎么进行负载均衡，乃至于选用什么的硬件设备，别的，网站发展的不同时期会可能会选用不同的架构，怎么完结架构的平滑过渡，怎么使现在的架构具有弹性，具备可扩展的才能，这都是大型网站有必要处理的问题，也是小网站生长进程中迟早会遇到的问题。

网站组织包含网站的软件架构和体系架构两部分，软件架构首要是指子体系和逻辑层的区分结构；体系架构，一般是体系布置结构。

体系架构师的常识体系比较杂乱，所谓的见多识广，多数是由运维工程师生长起来的，他们开发才能不强，编码不多，但动手才能很强，脚本编写十分熟练，经常会做各种类型的实验，密切盯梢最新技能最新产品的相关信息。当然，一个大型的网站，需求一个架构师团队，他们各自承当拿手领域的架构规划，比方安全架构、存储架构等等。

我觉得一般的开发人员仍是很难走上这条路的，这份作业需求经历，需求不断实践，但假如开发人员一旦走上了这条路，会有很大的发展，首要源于开发人员的思考习惯和技能的深度。我的这系列文章，开发人员能够作为参考，比方怎么开发可分布式布置的体系，别的许多朋友都是身兼数职，从开发到施行，到布置全部包办。我个人深感精力有限，所以又特意找了几个朋友从Unix/Linux体系和Windows体系不同视点进行探究，以造福正在探索中的朋友，有爱好的朋友也能够参与。

其实，这部分内容我一直在写，比方PHP深度探究系列，写了大量的关于apache的内容，我现已大体把apache代码阅览了一遍，很费时刻，进度缓慢，但我想这有助于咱们理解apache的配置和调优。

在介绍网站架构之前，咱们先介绍一些网站架构中最根底和常见的概念，以便更好的理解后边的有关负载均衡和分布式存储等技能。第一个，首要讲讲CDN。

1、CDN是什么

CDN（Content Delivery Network），便是内容发布网或许内容分发网，它的首要意图：经过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络边际，使用户能够就近取得所需的内容，然后进步用户拜访网站的响应速度，提高用户体会，同时能够涣散拜访压力，把原本用户会集拜访涣散到各地去。网站的内容供给商（比方新浪、搜狐、网易等等）使用CDN，就能够在微观层处理一部分大流量、海量用户并发等令人头疼的问题。

2、CDN的组成

内容发布网(CDN)是一个经战略性布置的全体体系，包含分布式存储、负载均衡、网络恳求的重定向和内容办理４个要件，而内容办理和全局的网络流量办理是CDN的中心地点。经过用户就近性和服务器负载的判别，CDN确保内容以一种极为高效的办法为用户的恳求供给服务，达到用户所要求的服务距用户仅有"一跳"(Single Hop)之遥。

咱们一般的内容发布模式都是将网站数据放到一处，然后应对来自世界各地的拜访，咱们多数考虑的是软件布置架构，很少考虑网络硬件架构。与之构成比照的是，CDN则强调了网络在内容发布中的重要性。经过引进自动的内容办理层的和全局负载均衡，CDN从根本上差异于传统的内容发布模式。

内容供给商承当了他们不应干也干不好的内容发布服务。

3、互联网服务的产业链

纵观整个宽带服务的价值链，内容供给商和用户位于整个价值链的两端，中心依靠网络服务供给商将其串接起来。随着互联网工业的老练和商业模式的革新，在这条价值链上的角色越来越多也越来越细分，出现了内容运营商、托管服务供给商、主干网络服务供给商、接入服务供给商等等。在这一条价值链上的每一个角色都要分工合作、各司其职才能为客户供给良好的服务，然后带来多赢的局势。从内容与网络的结合模式上看，内容的发布现已走过了ICP的内容（使用）服务器和IDC这两个阶段。IDC的热潮也催生了托管服务供给商这一角色。可是，IDC并不能处理内容的有用发布问题。内容位于网络的中心并不能处理主干带宽的占用和树立IP网络上的流量次序。因而将内容推到网络的边际，为用户供给就近性的边际服务，然后确保服务的质量和整个网络上的拜访次序就成了一种清楚明了的挑选，这便是CDN服务模式。CDN的树立处理了困扰内容运营商的内容"会集与涣散"的两难挑选，无疑关于构建良好的互联网价值链是有价值的，也是不可或缺的最优网站加速服务。

4、CDN服务供给商

ChinaCache是中国最大的CDN服务供给商，是不是仅有未可知也。要想成为CDN服务供给商，恐怕要摆平电信、网通、铁通等等运营商，这得需求什么样的才能和背景不得而知。它的服务节点在全球现已超越130个，其中国内节点超越80个，掩盖全国首要6大网络（所谓6线机房，便是这么来的）的首要省份，象各大门户网站，比方新浪、网易等等都是租用了他们的服务。所以，你无论是在南边，或许北方，仍是在北美，拜访这些门户网站，感觉速度都很快，最首要的原因之一便是CDN发挥了效果。一般小网站是用不起这服务的，所以慢点就慢点了吧，能够租用互联互通的6线机房，假如网络足够宽的话，用户也能够忍受。假如想继续提高用户体会的话，就需求做一些网站镜像，布置在具有代表性的几个大城市，比方华南能够布置在广州，华东能够布置在上海，华北能够布置在北京，不过内容镜像的进程，就需求自己去布置和保护。还有的网站，选用内容分割的办法，比方树立针对各地的分站，事务状况不同，可能布置的战略不同。CDN能够以为是根底网络建造的一种战略
前面介绍了cdn的一些原理和概念，以及供给cdn根底网络服务的途径。cdn看起来关于静态内容的，比方html,js,image是十分合适的，经过cdn的布置，用户只需求一跳就能够拜访到网站的内容。那关于动态内容怎么办呢？我答复一下：

动态内容依照存在形态能够分为三类。

第一类：内容长时刻不需变化，这类内容一般是经过网页静化技能，完结动态内容转换成静态内容，然后达到cdn布置，典型的便是内容类网站，比方新浪、搜狐、网易等等的内容发布体系cms，内容的增删改等办理作业被准实时同步到各个节点。

第二类：内容可能会短时刻内发作变动，可是最终会稳定。比方论坛、博客等使用，这类服务供给的内容依照必定的时刻距离，完结批量静化，当然也有实时静化，像Mop的大杂烩、网易社区便是使用了这样的战略。

第三类：内容会实时变化，十分个性化。比方邮箱使用，这类服务供给的内容无法完结静化，只能经过实行分区域布置和负载均衡等手法进行优化。

关于供给cdn服务的厂商来讲，静态内容的cdn自然没有问题，关于第三类服务，只能从通讯链路层进行相应的优化。

关于许多网站的伪静化，有的出于Seo的考虑，有的出于安全性的考虑，手法基本上是rewrite Url。它只不过是一种外在的表现办法，与Html静化是两回事，它依然是一种动态内容。

1. 负载均衡的分类

负载均衡技能在网站运营进程中使用十分普遍，技能也很老练。负载均衡技能依照软硬件办法分为软均衡和硬均衡。软均衡便是根据软件技能的均衡，硬均衡是根据硬件技能的均衡；

依照网络协议区分又分为四层均衡和七层均衡。四层均衡便是根据OSI网络层的数据均衡，七层均衡是根据OSI使用层的数据均衡。

各种均衡办法在大型网站中均有选用，而且大多数状况下，是多种均衡办法的组合。

2. DNS轮询均衡

这种办法，算是比较独立的一种办法，不在上述区分之列，但使用比较广泛，一般用在网站最前端。你能够做个实验，在dos指令行中运转nslook指令。咱们从浏览器发起的拜访恳求，那么你输入的域名首要需求经过DNS服务器进行解析，Dns服务器的解析的进程便是依照A记载的次序，顺次分配IP地址。Dns轮询办法完结均衡便是利用这个原理，在一个域名下面绑定N个IP地址，拜访恳求被均衡到不同的设备。Dns轮询办法供给的IP地址，在大型网站中往往是一个集群的地址，可能是均衡交换机也可能是均衡服务器。关于小网站的话，挂接多台服务器也没有问题。

DNS轮询均衡的长处：

1、零本钱：只是在Dns服务器上绑定几个A记载，域名注册商一般都供给；

2、布置简略：便是在网络拓扑进行设备扩增，然后在Dns服务器上增加记载。

DNS轮询均衡的缺点：

1、流量分配不均：Dns解析进程其实环节许多，而且是一种层层缓存的机制，你的dns服务器虽然进行更新，可是客户机、以及网络上其它的dns服务器不会实时更新，所以流量很难确保100%的均匀。现在，dns服务器都供给了多种手法能够调整dns轮询分配的战略，可是确实无法确保很完美的均衡。

2、健康检查：Dns服务器中A记载地址中的某一台服务器宕机，DNS服务器是无法知道的，依旧会将拜访分配到此服务器。所以需求人员或许工具进行实时检测，在某台机器宕机之后，把备份机推上生产线，假如想要从A记载地址去除某个地址，这个告诉进程需求几个小时乃至更久才能扩散到一切的客户机。

Dns轮询办法推到服务的最前端仍是很有用的，它经过最原始的办法，把拜访用户映射到不同的服务集群上。关于大型网站来讲，对外服务的IP地址是不可能经常变动的，而且后端的集群一旦宕掉，能够敏捷推上冗余集群。再加上，一般都是经过CDN布置，服务被拆分到各个部分，所以在运营进程中不会产生太大的影响。

3. OSI七层模型

咱们接下来讲讲七层均衡。要理解四七层均衡的原理，就先要回想一下大学课本里学的网络七层模型(OSI)。

OSI是一个开放性的通行体系互连参考模型，他是一个界说的十分好的协议标准。OSI模型有7层结构，每层都能够有几个子层。

OSI七层模型是一个很好的理论模型，可是在实际使用中都做了裁剪。尤其是TCP/IP的盛行，把7层结构压成了4层，

所以许多人都批评OSI七层模型过于杂乱，可是作为一个完整的全面的网络模型，仍是被大家十分认可的。OSI的7层从上到下分别是使用层、表明层、会话层、传输层、网络层、数据链路层、物理层。

OSI 7层的功用描述：

（1）使用层：与其他计算机进行通讯的一个使用，它是对应使用程序的通讯服务的。例如，一个没有通讯功用的字处理程序就不能履行通讯的代码，从事字处理作业的程序员也不关心OSI的第7层。可是，假如增加了一个传输文件的选项，那么字处理器的程序员就需求完结OSI的第7层。示例：telnet，HTTP,FTP,WWW,NFS,SMTP等。

（2）表明层：这一层的首要功用是界说数据格局及加密。例如，FTP允许你挑选以二进制或ASII格局传输。假如挑选二进制，那么发送方和接收方不改动文件的内容。假如挑选ASII格局，发送方将把文本从发送方的字符集转换成标准的ASII后发送数据。在接收方将标准的ASII转换成接收方计算机的字符集。示例：加密，ASII等。

（3）会话层：他界说了怎么开端、控制和完毕一个会话，包含对多个双向小时的控制和办理，以便在只完结接连音讯的一部分时能够告诉使用，然后使表明层看到的数据是接连的，在某些状况下，假如表明层收到了一切的数据，则用数据代表表明层。示例：RPC，SQL等。

（4）传输层：这层的功用包含是否挑选过失恢复协议仍是无过失恢复协议，及在同一主机上对不同使用的数据流的输入进行复用，还包含对收到的次序不对的数据包的从头排序功用。示例：TCP，UDP，SPX。

（5）网络层：这层对端到端的包传输进行界说，他界说了能够标识一切结点的逻辑地址，还界说了路由完结的办法和学习的办法。为了习惯最大传输单元长度小于包长度的传输介质，网络层还界说了怎么将一个包分解成更小的包的分段办法。示例：IP,IPX等。

（6）数据链路层：他界说了在单个链路上怎么传输数据。这些协议与被讨论的歌种介质有关。示例：ATM，FDDI等。

（7）物理层：OSI的物理层标准是有关传输介质的特性标准，这些标准一般也参考了其他组织制定的标准。连接头、针、针的使用、电流、电流、编码及光调制等都属于各种物理层标准中的内容。物理层常用多个标准完结对一切细节的界说