io多路复用

最新推荐文章于 2024-10-17 22:56:22 发布
原创 最新推荐文章于 2024-10-17 22:56:22 发布 · 296 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#os #epoll #linux

什么是io多路复用

单线程或者单进程同时检测多个文件描述符是否可以执行io操作的能力了

解决什么问题

应用程序往往要处理多条事件流的事件，而cpu单核在同一时间只能做一件事，一种解决方式就是将cpu进行时分复用。在计算机系统中，我们用线程和进程来表示一条执行流，通过不同的线程和进程在操作系统内部的调度，来做到对cpu的时分复用。
线程/进程有几个成本

  1. 线程/进程创建成本
  2. cpu切换不同的线程/进程成本
  3. 多线程的资源竞争
    io多路复用的解决本质就是用更少的资源完成更多的事

linux的io处理模型

  1. 阻塞io
  2. 非阻塞io
  3. io多路复用
  4. 信号驱动io
  5. 异步io

阻塞io

这是最常用的简单的io模型。阻塞io意味着当我们发起一次io操作后，要一直等待成功或者失败后才返回，在这期间程序不能做任何其他的事情。阻塞io只能对单个文件描述符进行操作，如read和write。

非阻塞io

我们发起io时，通过对文件描述符设置O_NONBLOCKE flag来指定该文件描述符的io操作为非阻塞。非阻塞io通常发生在一个for虚幻中，，因为每次进行io操作时，要么io操作成功，要不io操作会阻塞时返回错误EWOULDBLOCK/EAGAIN,然后再根据需要进行下一次for循环操作，这种类似轮询的方式会浪费很多不必要的cpu资源。和阻塞io一样，非阻塞io也是通过read和write来进行操作的，也只能对单个描述符进行操作

IO多路复用

有三种方式selelct/poll/epoll,他们的共同点：首先都会对一组文件描述符进行相关事件的注册，然后阻塞以等待某些事件发生或者等待超时。对于三种机制而言，不同数量的文件描述符对性能的影响是不同的

信号驱动io

信号驱动io是利用信号机制，让内核告诉应用程序文件描述符的相关事件。但在网络环境中 ，和socket相关的读写事件太多了，我们没有办法在sigio对应的信号处理函数中区分不同的事件，sigio只能在io事件单一的情况下使用，比如监听端口的socket，因为只有客户端发起新的链接的时候才会产生sigio信号

异步io

异步io和信号驱动io差不多，不一样的地方是：它相比较信号驱动io需要在程序中完成数据从用户态到内核态（或者反方向）的copy，异步io把copy这一步完成后，再通知应用程序。我们使用的事aio_read和aio_write
同步io和异步io

  1. 同步io指的是程序会一直阻塞程序到io操作如read或者write完成
  2. 异步io指的是哦操作不会当前程序的继续执行

io多路复用的方案

select

select的方法有select pselect FD_CLR FD_ISSET FD_SET FD_ZERO
select的调用会阻塞到有文件描述符可以进行io操作或者被信号打断或者超时才会返回
select将监听三种不同的需要进行的io操作。readfds是需要进行读操作的文件描述符，writefds是需要进行写操作的文件描述符，exceptfds是需要进行异常处理的文件描述符。这三个参数通过返回null来表示不需要监听
当select返回的时候，都会进行select过滤，只会留下需要进行io的文件描述符
FD_XX 系列的函数是用来操作文件描述符组合文件描述符的关系
FD_ZERO 用来清空文件描述符组，每次调用select都需要清空一次
FD_SET 用来将一个文件添加到文件描述符组里
FD_CLR 用来将一个文件描述符移除文件描述符组
FD_ISSET 检测一个文件描述符是否在组中，用来检测那些文件描述符可以进行io操作
select 可同时监听的文件描述符数量可以通过FS_SETSIZE来限制的，在linux中是1024，但是是可以设置的，但随着这个数的增加，效率会降低.pselect 和select 大体是一样的，有些细节上的区别

poll

poll的函数有 poll/ppoll/pollfd(fd, events, revents)
和select的三组文件描述符组不同的是，poll只有一个pollfd数组，每个元素都表示一个需要监听io操作事件的文件描述符。events是我们需要关心的事件，revents是内核检测到的事件。

epoll

epoll的函数有 epoll_create/epoll_create1/epoll_ctl/epoll_wait/epoll_pwait
epoll_create/epoll_create1 用来创建一个epoll实例，epoll_ctl用来添删改要检测的文件描述符，epoll_wait用来阻塞等待可以执行的io直到超时

level-triggerd and edge-triggerd

level-triggerd表示只要有io操作可以进行，比如某个文件描述符有数据可读，每次调用epoll_wait都会通知程序可以进行io操作
edge-triggerd表示只有文件描述符发生状态变化的时候，调用epoll_wait,会通知应用程序可以进行io操作，如果第一次没有全部读完数据，第二次没有新数据进入，则不会返回可读。
select和poll都是level-trigger , epoll是两种可选

原文

https://gocn.vip/topics/10090

Linux下的IO多路复用
m0_64288219的博客
02-26 1450
首先epoll_create创建epoll实例，它会创建所需要的红黑树，以及就绪链表，以及代表epoll实例的文件句柄，其实就是在内核开辟一块内存空间，所有与服务器连接的socket都会放到这块空间中，这些socket以红黑树的形式存在，同时还会有一块空间存放就绪链表；1.1 优点 select 其实就是把NIO中用户态要遍历的 fd 数组拷贝到了内核态，让内核态来遍历，因为用户态判断socket是否有数据还是要调用内核态的，所有拷贝到内核态后，这样遍历判断的时候就不用一直用户态和内核态频繁切换了。
Redis与IO多路复用
微刻
11-14 1494
IO多路复用是一种处理并发IO请求的技术，它允许单个线程监视多个文件描述符（file descriptors），以确定哪些文件描述符已经准备好进行IO操作。这项技术的核心在于能够在单个线程中高效地处理多个并发连接，而无需为每个连接创建一个线程。定义：IO多路复用模型允许一个线程处理多个输入/输出通道。当某个通道有数据可读或可写时，该线程会被通知，然后执行相应的操作。提高效率：通过IO多路复用，Redis能够使用一个线程来管理多个客户端连接，减少了线程创建和销毁的开销，提高了资源利用率和系统吞吐量。
IO多路复用
kevin的博客
09-05 687
IO多路复用 IO多路复用就是服务端用来处理大量客户端同时连接的情况，select，poll，epoll都是IO多路复用的机制 文章目录IO多路复用IO多路复用操作系统知识补充用户态和内核态进程切换文件描述符FDIO模型BIONIOAIO多路复用模型selectpollepoll总结redis IO模型 IO多路复用 何为IO多路复用？ IO多路复用就是一个线程或者一个进程同时监视多个文件描述符，一旦某个或某几个文件描述符准备就绪（读写就绪），就通知程序进行相应的读写操作。所以，这里的多路是指有多个网络
IO 多路复用
热门推荐
ChineseSoftware的博客
03-29 3万+
一、简述 IO 多路复用是一种同步 IO 模型，实现一个线程可以监视多个文件句柄；一旦某个文件句柄就绪，就能够通知应用程序进行相应的读写操作；没有文件句柄就绪时会阻塞应用程序，交出 cpu。IO 是指网络 IO，多路指多个TCP连接(即 socket 或者 channel)，复用指复用一个或几个线程。意思说一个或一组线程处理多个 TCP 连接。最大优势是减少系统开销小，不必创建过多的进程/线程，也不必维护这些进程/线程。IO 多路复用的三种实现方式：select、poll、epoll。 二、select .
IO多路复用之epoll全面总结(必看篇)
09-15
IO多路复用技术在高并发服务器编程中扮演着至关重要的角色，因为它允许单个线程同时处理多个连接。在Linux系统中，epoll是针对IO多路复用的一种高效实现，尤其适用于大规模并发连接的场景。以下是关于epoll的详细...
IO多路复用之select全面总结(必看篇)
01-10
IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： （1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。 （2）当一个客户...
redis IO多路复用机制
水w的博客
10-17 2582
redis IO多路复用机制
linux：IO多路复用
T66656的博客
09-02 1478
定义：单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力应用程序通常需要处理来自多条事件流中的事件，比如我现在用的电脑，需要同时处理键盘鼠标的输入、中断信号等等事件，再比如web服务器如nginx，需要同时处理来来自N个客户端的事件。
 IO 多路复用
liyuguanguan的博客
07-25 231
目录 1、什么是IO多路复用? 2、为什么出现IO多路复用机制? 3、IO多路复用的三种实现方式 4、select函数接口 5、select使用示例 6、select缺点 7、poll函数接口 8、poll使用示例 9、poll缺点 10、epoll函数接口 11、epoll使用示例 12、epoll缺点 13、epoll LT 与 ET模式的区别 14、epoll应用 15、select/poll/epoll之间的区别 16、IO多路复用完整代码实现 17、高频面试题 1、什么是IO多路复...
【IO多路复用】
weixin_30505225的博客
08-19 180
" 目录 一、IO模型介绍 二、阻塞IO（blockingIO） 三、非阻塞IO（non-blocking IO） 四、多路复用IO（IO multiplexing） 五、异步IO（Asynchronous I/O） 六、模型比较分析 七、关于select、poll、epoll 一、IO模型介绍 为了更好地了解IO模型，我们需要事先回顾下：同步、异步、阻塞、非阻塞 同步（synch...
高性能IO模型浅析
weixin_34331102的博客
11-14 1383
高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexing...
漫谈五种IO模型（主讲IO多路复用）
这个嘛，很简单嘛
10-25 582
转自以下： 作者：凉拌姨妈好吃 链接：https://www.jianshu.com/p/6a6845464770 來源：简书 简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。 首先引用levin的回答让我们理清楚五种IO模型 1.阻塞I/O模型 老李去火车站买票，排队三天买到一张退票。 耗费：在车站吃喝拉撒睡 3天，其他事一件没干。 2.非阻塞I/O模型 老李去...
io 多路复用
最新发布
03-08
### IO多路复用的概念 IO多路复用是一种同步I/O模型，允许一个线程同时监控多个文件描述符（如套接字）。这种技术使得程序可以在等待多个输入源中的任何一个变为可用时不会被阻塞。当任意一个文件描述符准备好了读取或写入操作，则会立即通知应用程序去处理相应的工作[^1]。 ### 实现原理 在Linux系统下，可以通过`select`, `poll` 或者更高效的`epoll` 来实现这一功能。这些函数可以让进程一次性监视多个文件描述符，并告知哪些已经准备好进行通信活动。具体来说： - **Select**: 可以监听一定数量的文件描述符集合，在指定时间内检查它们是否有待处理的数据。 - **Poll**: 类似于`select`但是没有最大文件数目的限制，并且性能更好一些因为不需要每次调用都重新构建文件列表。 - **Epoll**: 是一种更为先进的接口，特别适合大量并发连接的情况。它可以注册感兴趣的事件并只报告那些确实发生了变化的对象，从而减少了不必要的上下文切换和资源消耗[^4]。 对于每一个可能发生变化的状态——比如可读、可写或是异常情况发生——都可以设置回调函数以便及时响应。这种方式不仅提高了效率而且简化了编程逻辑。 ### 应用场景 在网络服务端开发领域广泛应用着IO多路复用的技术，尤其是在高负载情况下需要保持大量的活跃TCP连接时表现尤为突出。例如Web服务器(Nginx), 缓存数据库(Redis) 都采用了类似的架构来优化其性能[^5]。 #### Nginx 和 Redis 的例子 这两个软件均采用Reactor模式下的IO多路复用来支持大规模并发请求: - 对于Nginx而言, 主要负责接收新到来的HTTP请求(`accept`)而具体的业务逻辑则由工作进程中完成. - 而像Redis这样的键值存储系统则是完全依赖单个工作循环就能高效地应对成千上万的同时在线客户端. ```python import select import socket server_socket = socket.socket() server_socket.bind(('localhost', 8080)) server_socket.listen(5) inputs = [server_socket] while True: readable, writable, exceptional = select.select(inputs,[],[]) for s in readable: if s is server_socket: client_socket, addr = s.accept() inputs.append(client_socket) else: data = s.recv(1024) if not data: inputs.remove(s) s.close() else: print(f"Received {data.decode()}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值