您的位置: 首页  >  文章  >  浅谈网络I/O多路复用模型 select & poll & epoll

浅谈网络I/O多路复用模型 select & poll & epoll

分类: 文章 • 2023-11-21 11:14:34

我们首先需要知道select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的。

select的基本用法：http://blog.csdn.net/nk_test/article/details/49256129

poll的基本用法：http://blog.csdn.net/nk_test/article/details/49283325

epoll的基本用法：http://blog.csdn.net/nk_test/article/details/49331717

接下来我们探讨如何正确使用non-blocking I/O Multiplexing + poll/epoll。

先来说几个常见的问题：

1.SIGPIPE信号的产生和处理

如果客户端使用close关闭套接字，而服务器端调用了一次write，服务器会接收一个RST segment（TCP传输层）; 如果服务器再次调用write，这个时候就会产生SIGPIPE信号，如果不忽略，就会默认退出程序，显然是不满足服务器的高可用性。可以在程序中直接忽略掉，如 signal(SIGPIPE, SIG_IGN)。

2.TIME_WAIT 状态对 服务器的影响

应尽可能避免在服务端出现TIME_WAIT状态。如果服务器主动断开连接（先于client调用close），服务端就会进入TIME_WAIT状态，内核会hold住一些资源，大大降低服务器的并发能力。解决方法：协议设计上，应该让客户端主动断开连接，这样就可以把TIME_WAIT状态分散到大量的客户端。如果客户端不活跃了，一些恶意的客户端不断开连接，这样就会占用服务器端的连接资源。所以服务端也要有机制来踢掉不活跃的连接。

3.新的accept4系统调用

多了flags参数，可以设置以下两个标志：

[cpp] view plain copy
  1. int accept4(int sockfd, struct sockaddr *addr, socklen_t *addrlen, int flags);  
  2.   
  3. OCK_NONBLOCK   Set the O_NONBLOCK file status flag on the new open file description.  Using this flag saves  extra  calls to fcntl(2) to achieve the same result.  
  4.   
  5. SOCK_CLOEXEC    Set  the close-on-exec (FD_CLOEXEC) flag on the new file descriptor.  See the description of the O_CLOEXEC  flag in open(2) for reasons why this may be useful.  
进程被替换时，文件描述符是关闭的状态，用来设置返回的已连接套接字，也可以使用fcntl设置，但是效率稍微低一些。

4.accept(2)返回EMFILE的处理（文件描述符已经用完）

（1）调高进程文件描述符数目
（2）死等
（3）退出程序
（4）关闭监听套接字。那什么时候重新打开呢？
（5）如果是epoll模型，可以改用edge trigger。问题是如果漏掉了一次accept(2)，程序再也不会收到新连接（没有状态变化）
（6）准备一个空闲的文件描述符。遇到这种情况，先关闭这个空闲文件，获得一个文件描述符名额;再accept(2)拿到socket连接的文件描述符；随后立刻close(2)，这样就优雅地断开了与客户端的连接；最后重新打开空闲文件，把“坑”填上，以备再次出现这种情况时使用。
[cpp] view plain copy
  1. int idlefd = open("/dev/null", O_RDONLY | O_CLOEXEC);  
  2. connfd = accept4(listenfd, (struct sockaddr *)&peeraddr,  
  3.                  &peerlen, SOCK_NONBLOCK | SOCK_CLOEXEC);  
  4.   
  5. /*          if (connfd == -1) 
  6.                 ERR_EXIT("accept4"); 
  7. */  
  8.   
  9. if (connfd == -1)  
  10. {  
  11.     if (errno == EMFILE)  
  12.     {  
  13.         close(idlefd);  
  14.         idlefd = accept(listenfd, NULL, NULL);  
  15.         close(idlefd);  
  16.         idlefd = open("/dev/null", O_RDONLY | O_CLOEXEC);  
  17.         continue;  
  18.     }  
  19.     else  
  20.         ERR_EXIT("accept4");  
  21. }  

（一）poll的处理流程和需要注意的问题

浅谈网络I/O多路复用模型 select & poll & epoll
需要注意的问题及其处理方法：

(1) 粘包问题：read 可能一次并没有把connfd 所对应的接收缓冲区（内核）的数据都读完，那么connfd下次仍然是活跃的。我们应该将读到的数据保存在connfd的应用层缓冲区（char buf[1024]），并处理好消息的边界。

(2)write应答的数据量较大的情况下，可能一次并不能把所有的数据发送到内核的缓冲区，所以应该有一个应用层的缓冲区，将未发送完的数据添加到应用层发送缓冲区。

(3)关注connfd 的POLLOUT 事件的时机。POLLOUT事件到来，则取出应用层发送缓冲区数据发送write，如果应用层发送缓冲区数据发送完毕，则取消关注POLLOUT事件。POLLOUT 事件触发条件：connfd的发送缓冲区（内核）不满（可以容纳数据）。

注：connfd 的接收缓冲区（内核）数据被接收后会被清空，当发出数据段后接收到对方的ACK段后，发送缓冲区（内核）数据段会被清空。write只是将应用层发送缓冲区数据拷贝到connfd 对应的内核发送缓冲区就返回；read 只是从connfd对应的内核接收缓冲区数据拷贝到应用层接收缓冲区就返回。

（二）epoll的处理流程和需要注意的问题
电平触发模式：
浅谈网络I/O多路复用模型 select & poll & epoll
基本处理流程和poll十分相似。注意epoll_wait返回的都是活跃的，不用遍历，直接处理即可。write返回成功只是说明将数据拷贝至内核缓冲区。
EPOLLIN 事件
内核中的某个socket接收缓冲区     为空          低电平
内核中的某个socket接收缓冲区     不为空       高电平
EPOLLOUT 事件
内核中的某个socket发送缓冲区     不满          高电平
内核中的某个socket发送缓冲区     满             低电平
注：只要第一次write没写完整，则下次调用write直接把数据添加到应用层缓冲区OutBuffer，等待EPOLLOUT事件。
边沿触发模式：
浅谈网络I/O多路复用模型 select & poll & epoll
缺点：

可能产生漏连接accept的bug，很难处理；

文件描述符达到上限后，一直处于高电平，不会再触发了。处理起来也比较麻烦。

推荐epoll使用LT模式的原因：
其中一个是与poll兼容；
LT（水平）模式不会发生漏掉事件的BUG，但POLLOUT事件不能一开始就关注，否则会出现busy loop(即暂时还没有数据需要写入，但一旦连接建立，内核发送缓冲区为空会一直触发POLLOUT事件)，而应该在write无法完全写入内核缓冲区的时候才关注，将未写入内核缓冲区的数据添加到应用层output buffer，直到应用层output buffer写完，停止关注POLLOUT事件。
读写的时候不必等候EAGAIN，可以节省系统调用次数，降低延迟。（注：如果用ET模式，读的时候读到EAGAIN,写的时候直到output buffer写完或者写到EAGAIN）

注：在使用 ET 模式时，可以写得更严谨，即将 listenfd 设置为非阻塞，如果accpet 调用有返回，除了建立当前这个连接外，不能马上就回到 epoll_wait ，还需要继续循环accpet，直到返回-1 且errno == EAGAIN 才退出。代码示例如下：

[cpp] view plain copy
  1. if(ev.events & EPOLLIN)  
  2. {  
  3.     do  
  4.     {  
  5.         struct sockaddr_in stSockAddr;  
  6.         socklen_t iSockAddrSize = sizeof(sockaddr_in);  
  7.           
  8.         int iRetCode = accept(listenfd, (struct sockaddr *) &stSockAddr, iSockAddrSize);  
  9.         if (iRetCode > 0)  
  10.         {  
  11.            // ...建立连接  
  12.            // 添加事件关注  
  13.         }  
  14.         else  
  15.         {  
  16.             //直到发生EAGAIN才不继续accept  
  17.             if(errno == EAGAIN)  
  18.             {  
  19.                 break;  
  20.             }  
  21.         }  
  22.     }  
  23.     while(true);  
  24.       
  25.     // ... 其他 EPOLLIN 事件  
  26. }  
（三）三者各方面的比较
浅谈网络I/O多路复用模型 select & poll & epoll

select：fd_set有文件描述符个数的限制；另外每次都要复制到内核空间，扫描O(N)的复杂度。要遍历所有的文件描述符去判断是否发生了事件。

poll：也是拷贝和轮询。拷贝至内核中的链表，没有最大连接数的限制。

epoll：使用共享内存（mmap）减少复制开销，存放感兴趣的套接字，都是在内核态操作的，采用事件通知的回调机制。

浅谈网络I/O多路复用模型 select & poll & epoll

浅谈网络I/O多路复用模型 select & poll & epoll

浅谈网络I/O多路复用模型 select & poll & epoll

注意：并不是在任何条件下epoll的效率都是最高的，要根据实际的应用情况来判断使用哪种I/O。

如果已连接套接字数目不太大并且这些套接字一直处于活跃的状态，那么不停地调用callback函数可能会造成低效率，也就是说低于一次性遍历，此时epoll的效率就可能低于select和poll。


相关推荐