您的位置: 首页  >  文章  >  关于大型网站架构概述

关于大型网站架构概述

分类: 文章 • 2024-06-14 12:44:16

网站架构演化发展历程

1.初始阶段的网站：（特点：没人）

  • 应用程序、数据库、文件都在一个服务器
    关于大型网站架构概述
    2.应用服务和数据服务分离

  • 随着网站业务的发展，一台服务器逐渐不能满足需求：性能越来越差，存储空间不足，这就需要应用和数据分离

  • 应用服务器： 处理大量的业务、需要更快更强的CPU

  • 数据库服务器： 需要快速磁盘检索和数据缓存、需要更快的硬盘和更大的内存

  • 文件服务器： 要存储大量的用户上传文件、需要更大的硬盘
    关于大型网站架构概述

3.使用缓存改善网站性能

  • 网站访问的特点和二八定律一样：80%的业务访问集中在20%的数据上

  • 所以如果把这一小部分数据缓存再内存中，可以减少数据库的访问压力，提高整个网站的数据访问速度，改善数据库的写入能力

  • 网站使用的缓存可以分为两种：

  • 缓存在应用服务器上的本地缓存、缓存在专门的分布缓存服务器上的远程缓存

  • 本地缓存 的速度较快，但受应用服务器内存限制，缓存数量有限

  • 远程分布式缓存可以使用集群（n）的方式，部署大内存的服务器作为专门的缓存服务器，并且理论上做到不受内存容量的限制的缓存服务

  • 缓存技术： 内容分发网络(CDN)反向代理、本地缓存、分布式缓存

  • 使用前提： 数据访问热点不均衡、使数据在某个时间段内有效，不会很快过期
    关于大型网站架构概述
    4.使用应用服务器集群改善并发处理能力

  • 使用缓存后，数据访问压力得到有效的缓解

  • 但是单一应用服务器能够处理的请求连接有限

  • 在网站高峰期，应用服务器成为整个网站的瓶颈

  • 使用集群是网站解决高并发、海量数据问题的常用手段

  • 通过符再均衡调度服务器，可将来自用户浏览器的访问请求分发到服务器及群众的任何一台服务器上

  • 如果有更多用户，就是集群中加入更多的应用服务器，使应用服务器的符在压力不再成为整个网站的瓶颈
    关于大型网站架构概述
    5.数据库读写分离

  • 网站在使用缓存后，使绝大部分数据操作访问都可以不通过数据库就能完成

  • 但是仍有一部分读操作（缓存访问不命中，缓存过期）和全部的写操作需要访问数据库

  • 在网站的用户达到一定规模后，数据库因为符在压力过高而成为网站的瓶颈

  • 目前大部分的主流数据库都提供主从热备功能

  • 通过配置两台数据主从关系，可以将一台数据库服务器的数据更新同步到另一台服务器上

  • 网站利用数据库的这一功能，实现数据苦的读写分离，从而改善数据库负载压力
    关于大型网站架构概述
    6.使用反向代理和CDN加速网站响应

  • 随着网站业务不断发展，用户规模越来越大

  • 由于中国复杂的网络环境，不同地区的用户访问网站时，速度差别也很大

  • 为了提供更好的用户体验，留住用户，网站需要加速网站的访问速度

  • 主要手段有使用CDN的反向代理

  • CDN和反向代理的基本原理都是缓存

  • 区别在于CDN部署在网站提供商的机房，反向代理则部署在网站的中心机房

  • 当用户请求到达中心机房后，首先访问的服务器是反向代理服务器

  • 如果反向代理中缓存着用户请求的资源，就将其直接返回组用户
    关于大型网站架构概述
    7.使用分布式文件系统和分布式数据库系统

  • 任何强大的单一服务器都满足不了大型网站持续增长的业务需求

  • 数据库经过读写分离后，从一台服务器拆分成两台服务器

  • 但是随着网站业务的发展依然满足不了需求

  • 这时需要使用分布式数据库，文件系统也是一样，需要分布式文件系统

  • 分布式数据库是网站数据库拆分的最后手段，只有在单表规模非常大时才用

  • 不到万不得已时，网站更常用的数据库拆分手段是业务拆分，

  • 将不同业务的数据库部署在不同的物理服务器上
    关于大型网站架构概述
    8.使用NoSQL和搜索引擎

  • 随着网站业务越来越复杂，对数据存数和检索的需求也越来越复杂

  • 网站需要采用一些非关系数据库技术，如NoSQL，和非数据库查询技术，如搜索引擎

  • NoSQL和搜索引擎都是源自互联网的技术手段

  • 对可伸缩的分布式特性具有更好的支持

  • 应用服务器则通过一个统一的数据访问模块访问各种数据，

  • 减轻应用程序管理诸多数据源的麻烦

9.业务拆分

  • 大型网站为了应对日益复杂的业务场景，通过使用分而治之的手段将整个网站业务分成不同的生产线

  • 如大型购物网站就会将首页、商铺、订单、卖家、买家等拆分成不同的产品项，分规不同的业务团队负责

  • 具体技术上，也会根据产品线划分，将一个网站拆分成许多不同的应用，每个应用独立部署维护

  • 应用之间可以通过一个超链接建立关系，也可以通过消息队列进行数据分发

  • 当然最多还是通过访问同一个数据存储系统来构成一个关联的完整系统
    关于大型网站架构概述
    10.分布式服务

  • 随着业务拆分越来越小，存储系统越来越庞大

  • 应用系统的整体复杂度呈指数级增加，部署维护越来越困难

  • 由于所有应用要和所有数据库系统相连

  • 在数万台服务器规模的网站中这些连接数目是服务器规模的平方

  • 导致数据库连接资源不足，拒绝服务

  • 既然每一个应用都要执行许多相同的业务操作

  • 比如用户管理、商品管理等

  • 那么可以将这些共用的业务提取出来，独立部署

  • 由这些可复用的业务连接数据库，提供业务服务

  • 而应用系统直需要管理用户界面，通过分布式服务调用共用业务服务完成具体业务操作

关于大型网站架构概述

相关推荐