笔者看来Netty的内核主要包括如下图三个部分:
其各个核心模块主要的职责如下:
内存管理
主要提高高效的内存管理,包含内存分配,内存回收。
网通通道
复制网络通信,例如实现对NIO、OIO等底层JAVA API 的封装,简化网络编程模型。
线程模型
提供高效的线程协作模型。
大家不妨回想一下在以往的面试的过程中,面试官通常会问:Netty 的线程模型是什么?
主从多 Reactor 模型,相信大家都能脱口而出,然后呢?就没有然后了?
线程模型在网络通信中主要解决什么样的问题?在 Netty 中又是如何解决的,Netty 的线程模型为什么如此高效?请容我慢慢道来。
温馨提示:为了保证文章观点的严谨性,将探究领域锁定在:Netty NIO 相关。
1、主从多 Reactor 模型主从多 Reactor 模型是业界一种非常经典的线程编程模型,其原理图如下所示:
我们首先简单介绍一下上图中涉及的几个重要角色:
Acceptor
请求接收者,在实践时其职责类似服务器,并不真正负责连接请求的建立,而只将其请求委托 Main Reactor 线程池来实现,起到一个转发的作用。
Main Reactor
主 Reactor 线程组,主要负责连接事件,并将IO读写请求转发到 SubReactor 线程池。当然在一些需要对客户端进行权限控制等场景下,权限校验的职责可以放到 Main Reactor 线程池,即 Main Reactor 也可以注册通道的读写事件,读取客户端权限校验相关的数据包,执行权限验证,权限验证通过后再将2通道注册到IO线程。
Sub Reactor
Main Reactor 通常监听客户端连接后会将通道的读写转发到 Sub Reactor 线程池中一个线程(负载均衡),负责数据的读写。在 NIO 中 通常注册通道的读(OP_READ)、写事件(OP_WRITE)。
为了更加深刻的理解主从 Reactor 模型,我们来看一下网络通讯一般会包含哪些关键动作:
一个网络交互通常的几个步骤如下:
服务端启动,并在特定端口上监听,例如 web 应用的 80端口。
客户端发起TCP的三次握手,与服务端建立连接,这里以 NIO 为例,连接成功建立后会创建NioSocketChannel对象。
服务端通过 NioSocketChannel 从网卡中读取数据。
服务端根据通信协议从二进制流中解码出一个个请求。
根据请求,执行对应的业务操作,例如 Dubbo 服务端接受一个查询用户ID为1的用户信息。
将业务执行结果返回到客户端,通常涉及到协议编码、压缩等。
线程模型需要解决的问题:连接监听、网络读写、编码、解码、业务执行这些操作步骤如何运用多线程编程,提升性能。
主从多Reactor模型是如何解决上面的问题呢?
连接建立(OP_ACCEPT)由 Main Reactor 线程池负责,创建NioSocketChannel后,将其转发给SubReactor。
SubReactor 线程池主要负责网络的读写(从网络中读字节流、将字节流发送到网络中),即注册OP_READ、OP_WRITE,并且同一个通道会绑定一个SubReactor线程。
编码、解码、业务执行,则具体情况具体分析
通常编码、解码会放在IO线程中执行,而业务逻辑的执行通常会采用额外的线程池,但不是绝对的,一个好的框架通常会使用参数来进行定制化选择,例如 ping、pong 这种心跳包,直接在 IO 线程中执行,无需再转发到业务线程池,避免线程切换开销。
温馨提示:在网络编程中,通常将用于网络读写的线程称为IO线程。
2、Netty 的线程模型Netty的线程模型是基于主从多Reactor模型。
Netty 中网络的连接事件(OP_ACCEPT)由Main Reactor 线程组实现,即 Boss Group,通常只需设置一个线程。