JAVA 培训(三) Socket
Java最初是作为网络编程语言出现的,其对网络提供了高度的支持,使得客户端和服务器的沟通变成了现实,而在网络编程中,使用最多的就是Socket。像大家熟悉的QQ、MSN都使用了Socket相关的技术。下面就让我们一起揭开Socket的神秘面纱。
1、两台计算机间进行通讯需要以下三个条件:
IP地址、协议、端口号
2、TCP/IP协议:
是目前世界上应用最为广泛的协议,是以TCP和IP为基础的不同层次上多个协议的集合,也成TCP/IP协议族、或TCP/IP协议栈
TCP:Transmission Control Protocol 传输控制协议
IP:Internet Protocol 互联网协议
3、TCP/IP五层模型
应用层:HTTP、FTP、SMTP、Telnet等
传输层:TCP/IP
网络层:
数据链路层:
物理层:网线、双绞线、网卡等
4、IP地址
为实现网络中不同计算机之间的通信,每台计算机都必须有一个唯一的标识---IP地址。
32位二进制
5、端口
区分一台主机的多个不同应用程序,端口号范围为0-65535,其中0-1023位为系统保留。
如:HTTP:80FTP:21 Telnet:23
IP地址+端口号组成了所谓的Socket,Socket是网络上运行的程序之间双向通信链路的终结点,是TCP和UDP的基础
6、Socket套接字:
网络上具有唯一标识的IP地址和端口组合在一起才能构成唯一能识别的标识符套接字。
Socket原理机制:
通信的两端都有Socket
网络通信其实就是Socket间的通信
数据在两个Socket间通过IO传输
7、Java中的网络支持
针对网络通信的不同层次,Java提供了不同的API,其提供的网络功能有四大类:
InetAddress:用于标识网络上的硬件资源,主要是IP地址
URL:统一资源定位符,通过URL可以直接读取或写入网络上的数据
Sockets:使用TCP协议实现的网络通信Socket相关的类
Datagram:使用UDP协议,将数据保存在用户数据报中,通过网络进行通信。
二、InetAddress
InetAddress类用于标识网络上的硬件资源,标识互联网协议(IP)地址。
该类没有构造方法
1 //获取本机的InetAddress实例 2 InetAddress address =InetAddress.getLocalHost(); 3 address.getHostName();//获取计算机名 4 address.getHostAddress();//获取IP地址 5 byte[] bytes = address.getAddress();//获取字节数组形式的IP地址,以点分隔的四部分 6 7 //获取其他主机的InetAddress实例 8 InetAddress address2 =InetAddress.getByName("其他主机名"); 9 InetAddress address3 =InetAddress.getByName("IP地址");
三、URL类
1 //创建一个URL的实例 2 URL baidu =new URL("http://www.baidu.com"); 3 URL url =new URL(baidu,"/index.html?username=tom#test");//?表示参数,#表示锚点 4 url.getProtocol();//获取协议 5 url.getHost();//获取主机 6 url.getPort();//如果没有指定端口号,根据协议不同使用默认端口。此时getPort()方法的返回值为 -1 7 url.getPath();//获取文件路径 8 url.getFile();//文件名,包括文件路径+参数 9 url.getRef();//相对路径,就是锚点,即#号后面的内容 10 url.getQuery();//查询字符串,即参数
2、使用URL读取网页内容
通过URL对象的openStream()方法可以得到指定资源的输入流,通过流能够读取或访问网页上的资源
1 //使用URL读取网页内容 2 //创建一个URL实例 3 URL url =new URL("http://www.baidu.com"); 4 InputStream is = url.openStream();//通过openStream方法获取资源的字节输入流 5 InputStreamReader isr =newInputStreamReader(is,"UTF-8");//将字节输入流转换为字符输入流,如果不指定编码,中文可能会出现乱码 6 BufferedReader br =newBufferedReader(isr);//为字符输入流添加缓冲,提高读取效率 7 String data = br.readLine();//读取数据 8 while(data!=null){ 9 System.out.println(data);//输出数据 10 data = br.readerLine(); 11 } 12 br.close(); 13 isr.colose(); 14 is.close();
四、TCP编程
1、TCP协议是面向连接的、可靠的、有序的、以字节流的方式发送数据,通过三次握手方式建立连接,形成传输数据的通道,在连接中进行大量数据的传输,效率会稍低
2、Java中基于TCP协议实现网络通信的类
客户端的Socket类
服务器端的ServerSocket类
3、Socket通信的步骤
① 创建ServerSocket和Socket
② 打开连接到Socket的输入/输出流
③ 按照协议对Socket进行读/写操作
④ 关闭输入输出流、关闭Socket
4、服务器端:
① 创建ServerSocket对象,绑定监听端口
② 通过accept()方法监听客户端请求
③ 连接建立后,通过输入流读取客户端发送的请求信息
④ 通过输出流向客户端发送乡音信息
⑤ 关闭相关资源
1 /** 2 * 基于TCP协议的Socket通信,实现用户登录,服务端 3 */ 4 //1、创建一个服务器端Socket,即ServerSocket,指定绑定的端口,并监听此端口 5 ServerSocket serverSocket =newServerSocket(10086);//1024-65535的某个端口 6 //2、调用accept()方法开始监听,等待客户端的连接 7 Socket socket = serverSocket.accept(); 8 //3、获取输入流,并读取客户端信息 9 InputStream is = socket.getInputStream(); 10 InputStreamReader isr =newInputStreamReader(is); 11 BufferedReader br =newBufferedReader(isr); 12 String info =null; 13 while((info=br.readLine())!=null){ 14 System.out.println("我是服务器,客户端说:"+info); 15 } 16 socket.shutdownInput();//关闭输入流 17 //4、获取输出流,响应客户端的请求 18 OutputStream os = socket.getOutputStream(); 19 PrintWriter pw = new PrintWriter(os); 20 pw.write("欢迎您!"); 21 pw.flush(); 22 23 24 //5、关闭资源 25 pw.close(); 26 os.close(); 27 br.close(); 28 isr.close(); 29 is.close(); 30 socket.close(); 31 serverSocket.close();
5、客户端:
① 创建Socket对象,指明需要连接的服务器的地址和端口号
② 连接建立后,通过输出流想服务器端发送请求信息
③ 通过输入流获取服务器响应的信息
④ 关闭响应资源
1 //客户端 2 //1、创建客户端Socket,指定服务器地址和端口 3 Socket socket =newSocket("localhost",10086); 4 //2、获取输出流,向服务器端发送信息 5 OutputStream os = socket.getOutputStream();//字节输出流 6 PrintWriter pw =newPrintWriter(os);//将输出流包装成打印流 7 pw.write("用户名:admin;密码:123"); 8 pw.flush(); 9 socket.shutdownOutput(); 10 //3、获取输入流,并读取服务器端的响应信息 11 InputStream is = socket.getInputStream(); 12 BufferedReader br = new BufferedReader(new InputStreamReader(is)); 13 String info = null; 14 while((info=br.readLine())!null){ 15 System.out.println("我是客户端,服务器说:"+info); 16 } 17 18 //4、关闭资源 19 br.close(); 20 is.close(); 21 pw.close(); 22 os.close(); 23 socket.close();
6、应用多线程实现服务器与多客户端之间的通信
① 服务器端创建ServerSocket,循环调用accept()等待客户端连接
② 客户端创建一个socket并请求和服务器端连接
③ 服务器端接受苦读段请求,创建socket与该客户建立专线连接
④ 建立连接的两个socket在一个单独的线程上对话
⑤ 服务器端继续等待新的连接
1 //服务器线程处理 2 //和本线程相关的socket 3 Socket socket =null; 4 // 5 public serverThread(Socket socket){ 6 this.socket = socket; 7 } 8 9 publicvoid run(){ 10 //服务器处理代码 11 } 12 13 //============================================ 14 //服务器代码 15 ServerSocket serverSocket =newServerSocket(10086); 16 Socket socket =null; 17 int count =0;//记录客户端的数量 18 while(true){ 19 socket = serverScoket.accept(); 20 ServerThread serverThread =newServerThread(socket); 21 serverThread.start(); 22 count++; 23 System.out.println("客户端连接的数量:"+count); 24 }
五、UDP编程
UDP协议(用户数据报协议)是无连接的、不可靠的、无序的,速度快
进行数据传输时,首先将要传输的数据定义成数据报(Datagram),大小限制在64k,在数据报中指明数据索要达到的Socket(主机地址和端口号),然后再将数据报发送出去
DatagramPacket类:表示数据报包
DatagramSocket类:进行端到端通信的类
1、服务器端实现步骤
① 创建DatagramSocket,指定端口号
② 创建DatagramPacket
③ 接受客户端发送的数据信息
④ 读取数据
1 //服务器端,实现基于UDP的用户登录 2 //1、创建服务器端DatagramSocket,指定端口 3 DatagramSocket socket =new datagramSocket(10010); 4 //2、创建数据报,用于接受客户端发送的数据 5 byte[] data =newbyte[1024];// 6 DatagramPacket packet =newDatagramPacket(data,data.length); 7 //3、接受客户端发送的数据 8 socket.receive(packet);//此方法在接受数据报之前会一致阻塞 9 //4、读取数据 10 String info =newString(data,o,data.length); 11 System.out.println("我是服务器,客户端告诉我"+info); 12 13 14 //========================================================= 15 //向客户端响应数据 16 //1、定义客户端的地址、端口号、数据 17 InetAddress address = packet.getAddress(); 18 int port = packet.getPort(); 19 byte[] data2 = "欢迎您!".geyBytes(); 20 //2、创建数据报,包含响应的数据信息 21 DatagramPacket packet2 = new DatagramPacket(data2,data2.length,address,port); 22 //3、响应客户端 23 socket.send(packet2); 24 //4、关闭资源 25 socket.close();
2、客户端实现步骤
① 定义发送信息
② 创建DatagramPacket,包含将要发送的信息
③ 创建DatagramSocket
④ 发送数据
1 //客户端 2 //1、定义服务器的地址、端口号、数据 3 InetAddress address =InetAddress.getByName("localhost"); 4 int port =10010; 5 byte[] data ="用户名:admin;密码:123".getBytes(); 6 //2、创建数据报,包含发送的数据信息 7 DatagramPacket packet = newDatagramPacket(data,data,length,address,port); 8 //3、创建DatagramSocket对象 9 DatagramSocket socket =newDatagramSocket(); 10 //4、向服务器发送数据 11 socket.send(packet); 12 13 14 //接受服务器端响应数据 15 //====================================== 16 //1、创建数据报,用于接受服务器端响应数据 17 byte[] data2 = new byte[1024]; 18 DatagramPacket packet2 = new DatagramPacket(data2,data2.length); 19 //2、接受服务器响应的数据 20 socket.receive(packet2); 21 String raply = new String(data2,0,packet2.getLenth()); 22 System.out.println("我是客户端,服务器说:"+reply); 23 //4、关闭资源 24 socket.close();
六、注意问题:
1、多线程的优先级问题:
根据实际的经验,适当的降低优先级,否侧可能会有程序运行效率低的情况
2、是否关闭输出流和输入流:
对于同一个socket,如果关闭了输出流,则与该输出流关联的socket也会被关闭,所以一般不用关闭流,直接关闭socket即可
3、使用TCP通信传输对象,IO中序列化部分
4、socket编程传递文件,IO流部分
Socket
无论你是发邮件,浏览网页,还是看视频~实际底层都是使用的TCP/IP,而TCP/IP的编程抽象就是Socket!
我一直对Socket的中文翻译很困惑,个人觉得是我所接触的技术名词翻译里最莫名其妙的,没有之一!
Socket中文翻译为"套接字"!什么鬼?在很长的时间里我都无法将其和网络编程关联上!后来专门找了一些资料,最后在知乎上找到了一个还算满意的答案(具体链接,请见文末的参考资料链接)!
Socket的原意是插口,想表达的意思是插口与插槽的关系!"send socket"插到"receive socket"里,建立了链接,然后就可以通信了!
套接字的翻译,应该是参考了套接管(如下图)!从这个层面上来看,是有那么点意思!
套接字这个翻译已经是标准了,不纠结这个了!
我们看一下Socket之间建立链接及通信的过程!实际上就是对TCP/IP连接与通信过程的抽象:
- 服务端Socket会bind到指定的端口上,Listen客户端的"插入"
- 客户端Socket会Connect到服务端
- 当服务端Accept到客户端连接后
- 就可以进行发送与接收消息了
- 通信完成后即可Close
对于IO来说,我们听得比较多的是:
- BIO:阻塞IO
- NIO:非阻塞IO
- 同步IO
- 异步IO
以及其组合:
- 同步阻塞IO
- 同步非阻塞IO
- 异步阻塞IO
- 异步非阻塞IO
那么什么是阻塞IO、非阻塞IO、同步IO、异步IO呢?
- 一个IO操作其实分成了两个步骤:发起IO请求和实际的IO操作
- 阻塞IO和非阻塞IO的区别在于第一步:发起IO请求是否会被阻塞,如果阻塞直到完成那么就是传统的阻塞IO;如果不阻塞,那么就是非阻塞IO
- 同步IO和异步IO的区别就在于第二个步骤是否阻塞,如果实际的IO读写阻塞请求进程,那么就是同步IO,因此阻塞IO、非阻塞IO、IO复用、信号驱动IO都是同步IO;如果不阻塞,而是操作系统帮你做完IO操作再将结果返回给你,那么就是异步IO
模型图如下所示:
BIO优缺点
- 优点
- 模型简单
- 编码简单
- 缺点
- 性能瓶颈低
优缺点很明显。这里主要说下缺点:主要瓶颈在线程上。每个连接都会建立一个线程。虽然线程消耗比进程小,但是一台机器实际上能建立的有效线程有限,以Java来说,1.5以后,一个线程大致消耗1M内存!且随着线程数量的增加,CPU切换线程上下文的消耗也随之增加,在高过某个阀值后,继续增加线程,性能不增反降!而同样因为一个连接就新建一个线程,所以编码模型很简单!
就性能瓶颈这一点,就确定了BIO并不适合进行高性能服务器的开发!像Tomcat这样的Web服务器,从7开始就从BIO改成了NIO,来提高服务器性能!
NIO模型示例如下:
- Acceptor注册Selector,监听accept事件
- 当客户端连接后,触发accept事件
- 服务器构建对应的Channel,并在其上注册Selector,监听读写事件
- 当发生读写事件后,进行相应的读写处理
NIO优缺点
- 优点
- 性能瓶颈高
- 缺点
- 模型复杂
- 编码复杂
- 需处理半包问题
NIO的优缺点和BIO就完全相反了!性能高,不用一个连接就建一个线程,可以一个线程处理所有的连接!相应的,编码就复杂很多,从上面的代码就可以明显体会到了。还有一个问题,由于是非阻塞的,应用无法知道什么时候消息读完了,就存在了半包问题!
半包问题
简单看一下下面的图就能理解半包问题了!
我们知道TCP/IP在发送消息的时候,可能会拆包(如上图1)!这就导致接收端无法知道什么时候收到的数据是一个完整的数据。例如:发送端分别发送了ABC,DEF,GHI三条信息,发送时被拆成了AB,CDRFG,H,I这四个包进行发送,接受端如何将其进行还原呢?在BIO模型中,当读不到数据后会阻塞,而NIO中不会!所以需要自行进行处理!例如,以换行符作为判断依据,或者定长消息发生,或者自定义协议!
NIO虽然性能高,但是编码复杂,且需要处理半包问题!为了方便的进行NIO开发,就有了Reactor模型!
Reactor模型
- AWT Events
Reactor模型和AWT事件模型很像,就是将消息放到了一个队列中,通过异步线程池对其进行消费!
Reactor中的组件
- Reactor:Reactor是IO事件的派发者。
- Acceptor:Acceptor接受client连接,建立对应client的Handler,并向Reactor注册此Handler。
- Handler:和一个client通讯的实体,按这样的过程实现业务的处理。一般在基本的Handler基础上还会有更进一步的层次划分, 用来抽象诸如decode,process和encoder这些过程。比如对Web Server而言,decode通常是HTTP请求的解析, process的过程会进一步涉及到Listener和Servlet的调用。业务逻辑的处理在Reactor模式里被分散的IO事件所打破, 所以Handler需要有适当的机制在所需的信息还不全(读到一半)的时候保存上下文,并在下一次IO事件到来的时候(另一半可读了)能继续中断的处理。为了简化设计,Handler通常被设计成状态机,按GoF的state pattern来实现。
对应上面的NIO代码来看:
- Reactor:相当于有分发功能的Selector
- Acceptor:NIO中建立连接的那个判断分支
- Handler:消息读写处理等操作类
Reactor从线程池和Reactor的选择上可以细分为如下几种:
Reactor单线程模型
这个模型和上面的NIO流程很类似,只是将消息相关处理独立到了Handler中去了!
虽然上面说到NIO一个线程就可以支持所有的IO处理。但是瓶颈也是显而易见的!我们看一个客户端的情况,如果这个客户端多次进行请求,如果在Handler中的处理速度较慢,那么后续的客户端请求都会被积压,导致响应变慢!所以引入了Reactor多线程模型!
Reactor多线程模型
Reactor多线程模型就是将Handler中的IO操作和非IO操作分开,操作IO的线程称为IO线程,非IO操作的线程称为工作线程!这样的话,客户端的请求会直接被丢到线程池中,客户端发送请求就不会堵塞!
但是当用户进一步增加的时候,Reactor会出现瓶颈!因为Reactor既要处理IO操作请求,又要响应连接请求!为了分担Reactor的负担,所以引入了主从Reactor模型!
主从Reactor模型
主Reactor用于响应连接请求,从Reactor用于处理IO操作请求!
我们从Netty服务器代码来看,与Reactor模型进行对应!
- EventLoopGroup就相当于是Reactor,bossGroup对应主Reactor,workerGroup对应从Reactor
- TimeServerHandler就是Handler
- child开头的方法配置的是客户端channel,非child开头的方法配置的是服务端channel