当前位置:首页 > 服务端 > Netty(三)TCP粘包拆包处理

Netty(三)TCP粘包拆包处理

2022年11月07日 11:28:21服务端10

tcp是一个“流”的协议,一个完整的包可能会被TCP拆分成多个包进行发送,也可能把小的封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。

粘包、拆包问题说明

假设客户端分别发送数据包D1和D2给服务端,由于服务端一次性读取到的字节数是不确定的,所以可能存在以下4种情况。

  • 1.服务端分2次读取到了两个独立的包,分别是D1,D2,没有粘包和拆包;
  • 2.服务端一次性接收了两个包,D1和D2粘在一起了,被成为TCP粘包;
  • 3.服务端分2次读取到了两个数据包,第一次读取到了完整的D1和D2包的部分内容,第二次读取到了D2包的剩余内容,这被称为拆包;
  • 4.服务端分2次读取到了两个数据包,第一次读取到了部分D1,第二次读取D1剩余的部分和完整的D2包;

如果此时服务端TCP接收滑动窗非常小,而数据包D1和D2都很大,很有可能发送第五种可能,即服务端多次才能把D1和D2接收完全,期间多次发生拆包情况。(TCP接收滑动窗:是接收端的大小,随着流量大小而变化,如果我的解释还不明确,请读者自行百度,或者查阅《计算机网络》、《TCP/IP》中TCP的内容)

粘包问题的解决策略

由于底层的TCP无法理解上层的业务逻辑,所以在底层是无法确保数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决,根据业界的主流协议的解决方案,归纳如下:

  • 1.消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
  • 2.在包尾增加回车换行符进行分割,例如FTP协议;
  • 3.将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段,通常设计思路是消息头的第一个字段用int来表示消息的总长度;(我之前linux C开发,就用的这种)。
  • 4.更复杂的应用层协议;

 

为了解决TCP粘包拆包的问题,Netty默认提供了多种编码器来处理,以下通过代码来说明;

服务端:

 1 public class TimeServer {
 2 /* --------      和Netty入门章节一样的代码     -------- */
 3     private class ChildChannelHandler extends ChannelInitializer<SocketChannel>{
 4         @Override
 5         protected  void initChannel(SocketChannel arg0)throws Exception{
 6             // 增加 LineBasedFrameDecoder 和StringDecoder编码器
 7             arg0.pipeline().addLast(new LineBasedFrameDecoder(1024));
 8             arg0.pipeline().addLast(new StringDecoder());
 9             arg0.pipeline().addLast(new TimeServerHandler());
10         }
11     }
12 
13 /* --------      和Netty入门章节一样的代码     -------- */
14 }
 1 public class TimeServerHandler extends ChannelHandlerAdapter{
 2 
 3     private int counter;
 4 
 5     // 用于网络的读写操作
 6     @Override
 7     public void channelRead(ChannelHandlerContext ctx,Object msg)
 8             throws Exception{
 9 
10         String body = (String)msg;
11         System.out.println("the time server order : " + body+";the counter is :"+ (++counter));
12 
13         String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body)?new Date(
14                 System.currentTimeMillis()).toString():"BAD ORDER";
15         currentTime +=System.getProperty("line.separator");   // System.getProperty("line.separator"),获取/n的作用
16         ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes());
17         ctx.writeAndFlush(resp);
18 
19         // 当客户端和服务端建立tcp成功之后,Netty的NIO线程会调用channelActive
20         // 发送查询时间的指令给服务端。
21         // 调用ChannelHandlerContext的writeAndFlush方法,将请求消息发送给服务端
22         // 当服务端应答时,channelRead方法被调用
23     }
24 
25     @Override
26     public void exceptionCaught(ChannelHandlerContext ctx,Throwable cause){
27         ctx.close();
28     }
29 }

客服端

 1 public class TimeClient {
 2     public void connect(String host,int port)throws Exception{
 3         // 配置服务端的NIO线程组
 4         EventLoopGroup group = new NioEventLoopGroup();
 5 
 6         try {
 7             // Bootstrap 类,是启动NIO服务器的辅助启动类
 8             Bootstrap b = new Bootstrap();
 9             b.group(group).channel(NioSocketChannel.class)
10                     .option(ChannelOption.TCP_NODELAY,true)
11                     .handler(new ChannelInitializer<SocketChannel>() {
12                         @Override
13                         public void initChannel(SocketChannel ch)
14                                 throws Exception{
15                             // 增加 LineBasedFrameDecoder 和StringDecoder编码器
16                             ch.pipeline().addLast(new LineBasedFrameDecoder(1024));
17                             ch.pipeline().addLast(new StringDecoder());
18                             ch.pipeline().addLast(new TimeClientHandler());
19                         }
20                     });
21 
22             // 发起异步连接操作
23             ChannelFuture f= b.connect(host,port).sync();
24 
25             // 等待客服端链路关闭
26             f.channel().closeFuture().sync();
27         }finally {
28             group.shutdownGracefully();
29         }
30     }
31 
32     public static void main(String[]args)throws Exception{
33         int port = 8080;
34         if(args!=null && args.length>0){
35             try {
36                 port = Integer.valueOf(args[0]);
37             }
38             catch (NumberFormatException ex){}
39         }
40         new TimeClient().connect("127.0.0.1",port);
41     }
42 }

以上的代码,主要就是增加 LineBasedFrameDecoder 和StringDecoder编码器来处理粘包、拆包问题。全部项目代码,源码在src/main/java/NettyStickyPacket下,分为客户端和服务端,他们的代码基本和Netty入门章节的代码类似,只是增加了解码器。

 

LineBasedFrameDecoder 和StringDecoder编码器说明

LineBasedFrameDecoder 工作原理:依次编译bytebuf中的可读字符,判断看是否有“\n”或者“\r\n”,如果有,就以此位置为结束位置,从可读索引到结束位置区间的字节就组成了一行。它是以换行符为结束标志的解码器,支持携带结束符或者不携带结束符两种解码方式,同时支持单行的最大长度。如果连续读取到最大长度后,仍然没有发现换行符,就会抛出异常,同时忽略掉之前读到的异常码流。

StringDecoder功能:将接收到的对象转成字符串,然后继续调用后面的handler。 LineBasedFrameDecoder + StringDecoder组成就是按行切换的文本解码器,它被设计用来支持TCP的粘包和拆包。

可能读者会提出新的疑问:如果发送的消息不是以换行符结束怎么办?或者没有回车换行符,靠消息头中的长度字段来分包怎么办?是不是需要自己写半包解码器?答案是否定的,Netty提供了多种支持TCP粘包/拆包的解码器。

关于“分隔符解码器”,下一章单独讲解说明。

 

源码下载

GitHub地址:https://github.com/orange1438/Netty_Course

 
作者:orange1438
出处:http://www.cnblogs.com/orange1438/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

作者:橙&子
来源链接:https://www.cnblogs.com/orange1438/p/5009769.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68302.html

标签: Netty
分享给朋友:

“Netty(三)TCP粘包拆包处理” 的相关文章

Android使用Netty网络框架实践(客户端、服务端)

Android使用Netty网络框架实践(客户端、服务端) 使用开发工具为Android Studio 1、配置build.gradle文件 build.gradle文件的dependencies标签下添加Netty引用 depe...

netty系列之:使用netty实现支持http2的服务器

netty系列之:使用netty实现支持http2的服务器

文章目录 简介 基本流程 CleartextHttp2ServerUpgradeHandler Http2ConnectionHandler 总结 简介...

Netty 快速入门系列 - Chapter 4 Netty心跳【第十讲】 - IdleStateHandler学习

Netty 快速入门系列 - Chapter 4 Netty心跳【第十讲】 - IdleStateHandler学习

IdleStateHandler 心跳作用: 心跳其实就是一个普通的请求,特点数据简单,业务也简单心跳对于服务端来说,定时清除闲置会话inactive(netty5)、 channelclose(netty3) 心跳对客户端来说,用来检测会话是否断开,是否重连...

netty之打印数据示例

netty之打印数据示例

打印客户输出的数据并且向客户端回写数据 服务端代码 package com.guoyy.server; import com.guoyy.handler.EchoServerHandler; import io.netty.bootstrap.ServerBoo...

netty-搭建简单http服务器

netty-搭建简单http服务器

netty中提供了许多定义好的协议,如HTTP编解码器,我们利用它可以快速地开发一个基于netty的web服务器。 package com.throne.netty.test1.protocol; import io.netty.bootstra...

netty系列之:从零到壹,搭建一个SOCKS代理服务器

文章目录 简介 使用SSH搭建SOCKS服务器 使用netty搭建SOCKS服务器 encoder和decoder 建立连接 Connec...

远程桌面控制项目开发(Spring+Netty+Swing)

远程桌面控制项目开发(Spring+Netty+Swing)

【目录】 1.前言 2.初现端倪 3.款款深入 4.责任细分 5.功能层级图 6.项目结构 7.关键类设计 8.一些设计想法 9.待优化 10.一点心得 11.效果演示 12.讨论 13.GitHub源码 ## 前言 远程桌面控制的产品已经有很多很多,我...

dubbo是如何使用netty的?(1)

dubbo是如何使用netty的?(1)

最近在复习netty,于是重新看了下dubbo是怎么使用netty的,分为server和client两部分,这篇先讲server端。 首先需要发布一个服务,看Protocol接口: 找到他的默认实现DubboProtocol中的export方法:...

Netty - 模拟源码实现简单Netty以及拓展应用

Netty - 模拟源码实现简单Netty以及拓展应用

文章目录 Netty - 模拟源码实现简单Netty以及拓展应用 1.模拟Netty线程模型实现简单网络通讯...

netty实现TCP长连接

netty实现TCP长连接

所用jar包 netty-all-4.1.30.Final.jar 密码:rzwe NettyConfig.java,存放连接的客户端 1 import io.netty.channel.group.ChannelGroup; 2 import...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。