关于epoll的原理和使用介绍的简单解析
词条简介如下:
epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。
另一点原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。
epoll除了提供select/poll那种IO事件的水平触发(Level Triggered)外,还提供了边缘触发(Edge Triggered),这就使得用户空间程序有可能缓存IO状态,减少epoll_wait/epoll_pwait的调用,提高应用程序效率。
一、问题的发现:
在某一天实现了单进程非堵塞的并发服务器之后,发现了一个问题,在实现的并发的过程中,我创建了一个list,将客户端的套接字接收并append这个列表,从而使服务器不断的遍历这个列表来确认客户端是否发送数据,确保客户端的需求得到完整的满足之后再从这个列表中删除client_socket,但当大量的客户端到来时,不断的遍历会给服务器造成不必要的资源浪费
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
# 设定套接字的选项值
s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR, 1)
# 绑定ip
server_addr = ('',xxxx)
s.bind((server_addr))
# 响应模式
s.listen(128)
s.setblocking(False) # 设置套接字为非堵塞
client_socket_list = list()
while True:
try:
new_client_socket,new_addr = s.accept()
except Exception as ex:
pass
else:
s.setblocking(False)
client_socket_list.append(new_client_socket)
for client_socket in client_socket_list:
# 接下来处理客户端的请求,一下代码省略
# .............
#最后的步骤为:
client_socket.close()
client_socket_list.remove(client_socket)
二、进一步的发现:
在上一片代码中,for循环使list不断的遍历,这个操作称之为轮询,而在了解epoll之后,epoll处理数据的方式为事件通知。众所周知,操作系统的内存空间和应用程序(文件)的内存空间是独立的两个存在,而epoll则与操作系统的内存空间共享,不属于操作系统也不属于应用程序,而是一个新的共享空间
简单的图片解析()原谅我画的不好:
三、epoll的实现:
server_addr = ('',xxxx)
s.bind((server_addr))
# 响应模式(主动链接他人)
s.listen(128)
s.setblocking(False) # 设置套接字为非堵塞
#创建一个epoll对象
epol = select.epoll()
#将监听套接字对应的文字符注册到epoll中
epol.register(s.fileno(),select.EPOLLIN)
# 创建一个字典以便得到客户端的套接字socket
client_socket_dict = dict()
while True:
event_list = epol.poll() # 默认堵塞,直到检测到数据到来,通过事件通知告诉程序解堵塞 返回值是一个列表 [(fd,event)]
# 遍历列表
for fd, event in event_list:
# 如果文字符等于监听套接字的文字符,则执行下面的操作
if fd == s.fileno():
# 接收客户端的信息
new_client_socket,new_addr = s.accept()
# 将客户端的信息注册到epoll中
epol.register(new_client_socket.fileno(),select.EPOLLIN)
# 将套接字加入字典
client_socket_dict[new_client_socket.fileno()] = new_client_socket
elif event == select.EPOLLIN:
# 判断已经链接的客户端是否有数据发送过来
# 接收客户端的http请求
request = client_socket_dict[fd].recv(1024).encode('utf-8')
if request:
send_file(new_client_socket,request)# 此函数为处理数据的过程,省略不写
else:
client_socket_dict[fd].close()
epol.unregister(fd)
del client_socket_dict[fd]
print('客户端已关闭')
四、最后的提示
此处的实现是单进程的多线程模型使服务器有了并发的能力,能同时处理多个客户端的访问,epoll本身并没有并发,只是IO复用,不断的复用send_file()这个线程