您的位置: 首页  >  文章  >  结合Apache和Tomcat实现集群和负载均衡

结合Apache和Tomcat实现集群和负载均衡

分类: 文章 • 2023-03-18 22:34:57

为什么80%的码农都做不了架构师？>>>   结合Apache和Tomcat实现集群和负载均衡

以下教程结合网上资料和自己的总结，综合而成，实际做的过程中发现网上部分网友的教程不是很详细，有些地方的坑也没有点到，从而产生了如下教程

一、前言

在单一的服务器上执行WEB应用程序有一些重大的问题，当网站成功建成并开始接受大量请求时，单一服务器终究无法满足需要处理的负荷量，所以就有点显得有点力不从心了。另外一个常见的问题是会产生单点故障，如果该服务器坏掉，那么网站就立刻无法运作了。不论是因为要有较佳的扩充性还是容错能力，我们都会想在一台以上的服务器计算机上执行WEB应用程序。所以，这时候我们就需要用到集群这一门技术了。

在进入集群系统架构探讨之前，先定义一些专门术语：

1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。

2. 负载均衡(Load Balance)：先得从集群讲起，集群就是一组连在一起的计算机，从外部看它是一个系统，各节点可以是不同的操作系统或不同硬件构成的计算机。如一个提供Web服务的集群，对外界来看是一个大Web服务器。不过集群的节点也可以单独提供服务。

3. 特点：在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。

集群系统(Cluster)主要解决下面几个问题： 
高可靠性（HA）：利用集群管理软件，当主服务器故障时，备份服务器能够自动接管主服务器的工作，并及时切换过去，以实现对用户的不间断服务。 
高性能计算（HP）：即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域，比如基因分析，化学分析等。 
负载平衡：即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求。

总体来说，在负载均衡的思路下，多台服务器为对等方式，每台服务器都具有同等的地位，可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术，将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上，而接收到请求的服务器都独立回应客户机的请求。

提供服务的一组服务器组成了一个应用服务器集群(cluster)，集群下的对等多机环境可以增加系统的并发处理能力，和单台机器出现故障系统的错误冗余能力；同时实现了负载均衡和系统高可靠性。

二、常用负载均衡技术

1. 基于DNS的负载均衡

通过DNS服务中的随机名字解析来实现负载均衡，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

2. 反向代理负载均衡 （如Apache+JK2+Tomcat这种组合）

使用代理服务器可以将请求转发给内部的Web服务器，让代理服务器将请求均匀地转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。

3. 基于NAT（Network Address Translation）的负载均衡技术 （如Linux Virtual Server，简称LVS）

网络地址转换为在内部地址和外部地址之间进行转换，以便具备内部地址的计算机能访问外部网络，而当外部网络中的计算机访问地址转换网关拥有的某一外部地址时，地址转换网关能将其转发到一个映射的内部地址上。因此如果地址转换网关能将每个连接均匀转换为不同的内部服务器地址，此后外部网络中的计算机就各自与自己转换得到的地址上服务器进行通信，从而达到负载分担的目的。

三、Apache+JK2实现Tomcat集群与负载均衡

客户系统一般采用Apache httpd作为web服务器，即作为Tomcat的前端处理器，根据具体情况而定，有些情况下是不需要Apache httpd作为 web 服务器的，如系统展现没有静态页面那就不需要Apache httpd，那时可以直接使用Tomcat作为web 服务器来使用。使用Apache httpd主要是它在处理静态页面方面的能力比Tomcat强多了。

传统的Java Web项目是通过tomcat来运行和发布的。但在实际的企业应用环境中，采用单一的tomcat来维持项目的运行是不现实的。tomcat 处理能力低，效率低，承受并发小（1000左右）。当用户请求较少时，单一的tomcat能够快速响应用户请求，但如果访问量一大，tomcat处理能力跟不上，无法及时响应请求，就会造成用户等待；如果访问量过大，超出tomcat的承受能力，还可能导致tomcat超载故障。

Apache 是一个 web 服务器环境程序，可以作为web 服务器使用。Apache对并发请求的处理能力较tomcat强，对静态页面（如asp，php，cgi，jsp等）的处理上比tomcat更为迅速，但apache不支持动态网页（需借助tomcat）。

    因此实际应用中可以搭建apache+tomcat负载均衡集群，一个apache 作为 Web 服务器，为网站的静态页面请求提供服务；并使用tomcat 服务器作为一个 Servlet/JSP 插件，用于处理网站的动态页面。当用户通过浏览器发出请求时，客户请求首先会发送到 apache，如果请求是静态文本则由 apache 解析，并把结果返回给客户端；如果是动态的请求，如 jsp，apache 会把解析工作交给 tomcat，由 tomcat 进行解析（这首先要两者现实整合），tomcat 解析完成后，结果仍是通过 apache 返回给客户端。这样就可以达到分工合作,实现负载均衡，提高系统的性能! 

最简单的集群

如下图所示，最简单的集群并不是一个真正的集群，tomcat1和tomcat2只是运行了同一个应用，比如我的sessiontest.war, 它们两个之间并没有任何通信，共享。Apache只是根据访问量进行负载平衡。一旦其中一个tomcat关机，所有的request都将被转发到另一个tomcat上去。而之前工作在第一个tomcat上的用户会丢失信息，比如session，运行环境。

1. 集群实现原理

结合Apache和Tomcat实现集群和负载均衡结合Apache和Tomcat实现集群和负载均衡

如图所示，主要通过 Apache-Server 作为中转服务器，实现多个 tomcat 服务器之间的分布式处理，用户直接请求 Apache-Server ，然后 Apache-Server 会将请求分发到具体的 tomcat-server ，之后 tomcat-server 响应客户请求并返回结果到 Apache-Server ，最后 Apache-Server 返回结果给用户。

说明：此文件配置了 2 个 tomcat 服务器进行负载均衡处理

1. 准备工作

首先下载安装Tomcat7 和Apache2.2以上如果系统已经安装好了可跳过安装步骤

然后安装Apache，安装完成后在IE中输入localhost访问，如果出现It Works则表示Apache安装好了

Apache2.2已经集成Tomcat插件模块了，可以不用JK插件就可以实现Tomcat负载均衡

默认是80端口的，如果80端口被占用，则无法安装成功；

　　用一下命令可以查询80端口被哪个进程id占用，netstat -aon|findstr "80"

　　再用一下命令查询该进程id是代表哪个进程，tasklist|findstr "2016"

　　apache检查错误方法:进入cmd 然后进入 Apache安装目录(具体为你自己的安装目录)\bin> httpd.exe -w -n "Apache2" -k start

然后解压缩到Tomcat1和Tomcat2两个目录中。

分别启动Tomcat1和Tomcat2看是否可以正常启动。


2. 配置Apache2.4（2.2也可以）

   ①打开conf/httpd.conf文件，加载以下模块。

#---------------------start------------------------
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule rewrite_module modules/mod_rewrite.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule slotmem_shm_module modules/mod_slotmem_shm.so
LoadModule speling_module modules/mod_speling.so
LoadModule ssl_module modules/mod_ssl.so
#----------------------end---------------------

 ② 如果你想看到小猫页面，

<IfModule dir_module>
    DirectoryIndex index.html
</IfModule>

在上面的index.html下面添加index.jsp就可以了

③去掉Include conf/extra/httpd-vhosts.conf的注释标记#。

④在文件末尾加反向代理

ProxyRequests Off  
<proxy balancer://cluster>  
     BalancerMember ajp://127.0.0.1:8009 loadfactor=1 route=jvm1  
     BalancerMember ajp://127.0.0.1:9009 loadfactor=1 route=jvm2  
</proxy>  

如果要修改端口加上端口监听

Listen 89
NameVirtualHost *:89

⑤修改conf/extra/httpd-vhosts.conf文件。

注释掉所有的dummy-host，添加以下内容

<VirtualHost *:89>  
         ServerAdmin [email protected]  
         ServerName localhost  
         ServerAlias localhost  
         ProxyPass / balancer://cluster/ stickysession=jsessionid nofailover=On  
         ProxyPassReverse / balancer://cluster/  
         ErrorLog "logs/lbtest-error.log"  
         CustomLog "logs/lbtest-access.log" common  
</VirtualHost>

备注：
也可以直接以下面方式配置

 <VirtualHost   *:89>
 
 ServerName www.a.com
 ServerAlias   www.a.com
 ProxyPass / balancer://proxy/ stickysession=JSESSIONID
 ProxyPassReverse / balancer://proxy/

 <Proxy balancer://proxy>
        BalancerMember http://192.168.1.192:8080/  loadfactor=1 route=tomcat1
        BalancerMember http://192.168.1.192:8081/  loadfactor=2 route=tomcat2
 </Proxy>

 </VirtualHost> 

sessionsticky：会话不复制，即上述的方法一；

sessionreplication：会话复制，即上述的方法二；


ProxyPass / balancer://mycluster/代表所有的请求都会重定向到balancer://mycluster/处理。balancer是内置负载。

ProxyPassReverse / balancer://mycluster/是反向代理，也就是将所有的请求反向代理到负载均衡后的应用url路径中。

stickysession=JSESSIONID nofailover=Off是做Session复制用的。


2.配置Tomcat

修改 tomcat 配置文件 server.xml

Tomcat2 的修改conf/server.xml

更改其中一个的设置打开 tomcat2/conf/server.xml 文件，修改里面所有的端口设置 ，如下： 

修改端 三个端口，分别是：Server port，HTTP1.1(连接时使用)，AJP13（集群使用）

其实本质就是保证两个tomcat都能正常启动并且端口不一样就行了

1) 将关闭Tomcat的监听端口改成由8005改为9005
即把

 <Server port="8005" shutdown="SHUTDOWN">修改为9005

结合Apache和Tomcat实现集群和负载均衡  
2) 把http服务端口号由8080改为9090

修改<Service name="Catalina">下的

<Connector port="8080" protocol="HTTP/1.1"     connectionTimeout="20000"      redirectPort="8443" />
中的8080为9090
结合Apache和Tomcat实现集群和负载均衡  
3) 把AJP端口号由8009改为8109
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />修改为9009
结合Apache和Tomcat实现集群和负载均衡
4) 把 HTTP 代理端口从8082改为8182( 这个配置默认是被注释掉的，可跳过这一步 )

5)在Engine节点启用集群配置，只需去掉Cluster节点前的注释就行了，该步骤必须，

配置了集群才能实现Session复制，如果只有一个集群，只按我下边的配置就行了，

如果多个集群，则不能按此配置，tomcat服务器内的帮助文档

/docs/cluster-howto.html，/docs/config/cluster.html有介绍，需要的可以参考下。

<Engine name="Catalina" defaultHost="localhost">


在末尾加 jvmRoute="jvm2"

同时修改Tomcat1的这个标签为jvmRoute="jvm1" 后面配置httpd时要用到

<!--如果多个tomcat部署在同一个服务器中，此处的ajp协议端口必须不一样，并且需要增加jvmRoute属性，该属性的值即为Apache中的tomcat的名称-->


6)集群部分配置，即对<Cluster>节点的在注释符删掉
即取消对如下处

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>改为

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster">

        <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

</Cluster>


配置完成之后，启动两个Tomcat测试一下Tomcat是否可以正常启动

如果可以正常启动，则进行下面步骤


另外就是在web项目的web.xml中添加属性<distributable/>，用于告诉web容器，该项目属于分布式项目,不然无法session replication

，加上表明该应用可多应用分流处理，能进行Session的复制

如下所示：

结合Apache和Tomcat实现集群和负载均衡

PS：要实现session复制，另一种方法在context.xml添加属性distributable="true"，如下：
< Context  distributable ="true" >


负载均衡
　用Apache进行分流，把请求按照权重以及当时负荷分tomcat1,tomcat2...去处理


在webApps下面添加Test目录，添加Test.jsp


<%@ page contentType="text/html; charset=GBK" %> 
<%@ page import="java.util.*" %> 
<html><head><title>Cluster App Test</title></head> 
<body> 
Server Info: 
<% 
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%> 
<% 
  out.println("<br> ID " + session.getId()+"<br>"); 
  String dataName = request.getParameter("dataName"); 
  
  if (dataName != null && dataName.length() > 0) { 
     String dataValue = request.getParameter("dataValue"); 
     session.setAttribute(dataName, dataValue); 
  }  
  
  out.print("<b>Session 列表</b>");  
  
  Enumeration e = session.getAttributeNames(); 
  
  while (e.hasMoreElements()) { 
     String name = (String)e.nextElement(); 
     String value = session.getAttribute(name).toString(); 
     out.println( name + " = " + value+"<br>"); 
         System.out.println( name + " = " + value); 
   } 
%> 
  <form action="test.jsp" method="POST"> 
    名称:<input type=text size=20 name="dataName"> 
     <br> 
    值:<input type=text size=20 name="dataValue"> 
     <br> 
    <input type=submit> 
   </form> 
</body> 
</html> 

最后启动Apache2.4，在页面中输入localhost\test\test.jsp进行刷新测试。


注意：

Apache日志：

apache安装目录下的logs文件夹下就存放这apache的相关日志

access.log文件用于记录apache接收到请求以及响应状态的日志

error.log文件用于记录apache的运行错误

httpd.pid文件用于记录进程pid


tomcat的日志：

localhost_access_log.日期.txt文件用于记录tomcat接收到的请求以及响应的状态等，作用于apache的access.log类似

catalina.日期.txt文件用于记录tomcat启动时候控制台的一些信息以及服务端错误信息

localhost.日期.txt文件用于记录站点访问信息，Tomcat下内部代码丢出的日志，文件名localhost.日期.log（jsp页面内部错误的异常，org.apache.jasper.runtime.HttpJspBase.service类丢出的，日志信息就在该文件！）


Tomcat启动顺序随意，然后打开http://localhost/test/test2.jsp，结果如下图：
 结合Apache和Tomcat实现集群和负载均衡

F5刷新页面，分别出现：

结合Apache和Tomcat实现集群和负载均衡
结合Apache和Tomcat实现集群和负载均衡

 

多次刷新页面的sessionID看是同一个ID，说明session是复制成功了。那么session中的存储的东西呢，在输入框中分别输入1、1，2、2，3、3后，显示结果如下图： 

结合Apache和Tomcat实现集群和负载均衡

结合Apache和Tomcat实现集群和负载均衡结合Apache和Tomcat实现集群和负载均衡

  

以上的测试说明，集群中的session已经共享，每个集群对于同一访问均有相同的session，而且session中存储的变量也复制了。

 

节点插拔测试

插拔意思是应该保证当运行的集群中某节点中关闭或者启动时，集群正常工作并且节点能够正常工作。

下面描述测试过程了，

关闭Tomcat2，刷新页面，则不断访问Tocmat1和Tomcat3，再关闭Tomcat1后，则只访问一个Tomcat3，说明节点关闭时运行正常。

如果重启Tomcat2，无论怎么刷新，始终访问Tomcat3，难道Apache不能将请求转发给中途启动的Tomcat2?。。。这时利用另外台机器访问页面，发现Tomcat2正常，然后在刷本地页面，又可以访问Tomcat2了。

从上面可以看出Apache的负载均衡时的算法了，对于每个新来的session，Apache按照节点配置中的lbfactor比重选择访问节点，如果某节点node1不能访问，则寻找下一可访问节点，并且将此node1就在该访问session的访问黑名单中，以后该session的访问直接不考虑node1，即使node1又可以访问了。而新来的session是无黑名单的，如果新的session能够访问到node1了，则会将node1在其他所有session访问的黑名单删除，这样其他session就又能访问node1节点了。以上只是个人经过测试后的猜想。

经过以上测试，说明Tomcat集群和负载均衡已经实现了。


一些延伸问题

用Apache+Tomcat配置的Web应用集群就是部署起来麻烦些，总是要保持双份的应用拷贝

1).session中的属性必须全部为实现Serializable

1.集群下的相同的应用可以名称不同(好像没必要啊)，只要配置server.xml中host下的context具有相同的path即可。


2.server.xml中的Cluster配置问题，网上大部分都是使用BackupManager方式，即Cluster下又粘贴了一堆配置。其实
只要将其中注释掉的<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>去掉注释就完成session的集群
复制了。只是这俩种复制采用的方式不同而已。
http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html，
这页面已经说的挺清楚了，集群的session复制默认是DeltaManager，是all to all的复制，意思是将集群下1个tomcat应用下的session对所有的集群中的节点进行复制，即使那个节点没有发布应用。显然是不好的方式，但这在小规模的集群下并没神马问题。
而采用BackupManager，就是众多网上配置那样，对于需要复制的节点设置BackupManager自然也没问题，
但是它的性能并没有DeltaManager 好使“ Downside of the BackupManager: not quite as battle tested as the delta manager”。
因此，具体怎么设置就看大家了，通常说如果不是大规模集群，就默认就好了。

线程问题
线程如果随着Tomcat启动而启动，自然多个Tomcat都会启动的。
集群其实还是多个独立的Tomcat中的项目，每次请求只访问一个Tomcat的，即使这个请求会被多个线程处理，但也都是在这1个Tomcat中完成的，然后将每个应用session的变化复制到其他Tomcat下的应用中。
所以即使项目包含多线程，如果独立的Tomcat没数据问题，多个也没问题。



参考资料：

tomcat官方关于tomcat集群配置的文档：
http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html

tomcat官方关于Apache Tomcat Connector的文档
http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
apache官方关于apache的安装文档
http://httpd.apache.org/docs/2.2/en/install.html
apache官方关于configure参数的文档

http://httpd.apache.org/docs/2.2/en/programs/configure.html#installationdirectories

 

网友：

Apache+Tomcat集群配置：http://www.iteye.com/topic/1017961 

Tomcat集群Cluster实现原理剖析：http://zyycaesar.iteye.com/blog/296606

Apache+Tomcat集群配置详解：http://www.iteye.com/topic/985404



转载于:https://my.oschina.net/zhaky/blog/639140

相关推荐