UDP内核发包流程

背景

工作中遇到客户反馈,上层应用UDP固定间隔100ms发包,但本地tcpdump抓包存在波动,有的数据包之间间隔107ms甚至更多,以此重新梳理了下udp的发送流程。

udp发包流程

udp发包流程

udp_sendmsg

UDP corking 是一项优化技术,允许内核将多次数据累积成单个数据报发送。在用户程序中有两种方法可以启用此选项:

使用 setsockopt 系统调用设置 socket 的 UDP_CORK 选项
程序调用 send,sendto 或 sendmsg 时,带 MSG_MORE 参数

如果没设置UDP_CORK,直接发送到ip层,根据客户只是偶尔出现时延过高的情况,可以确定UDP_CORK并没有被设置,udp这里应该是直接下发的,udp_send_skb之后直接到ip层,排除udp_sendmsg导致时延波动问题

int udp_sendmsg(struct sock *sk, struct msghdr *msg, size_t len)
{
... ...
/* Lockless fast path for the non-corking case. */
	if (!corkreq) {
		struct inet_cork cork;

		skb = ip_make_skb(sk, fl4, getfrag, msg, ulen,
				  sizeof(struct udphdr), &ipc, &rt,
				  &cork, msg->msg_flags);
		err = PTR_ERR(skb);
		if (!IS_ERR_OR_NULL(skb))
			err = udp_send_skb(skb, fl4, &cork);
		goto out;
	}
... ...
}

qdisc发包流程

qdisc
当配额quota < 0 || need_resched时将触发软中断,否则将直接进行发包。
quota 对应 net.core.dev_weight,可通过sysctl进行更改。

网卡及驱动

如果网卡慢,会导致网卡队列满返回BUSY,数据包重新入队,tcpdump将抓到重复的数据包。客户并未反馈该现象,排除网卡及网卡驱动。

总结

未配置UDP_CORK的情况下,上层udp应用send调用包含两个路径,一个是send直接到网卡驱动进行发送,另一个是send到网络设备子系统__dev_queue_skb,然后由软中断调用继续发送。
决定直接发还是由软中断发的条件是,net.core.dev_weight和 need_resched(需要强制调度),可以通过sysctl -a | grep weight查看其默认值。

对于__qdisc_run来讲,dev_weight代表循环次数,可尝试适当增大这个值,但可能会导致上层应用发送时延增加。
sysctl net.core.dev_weight=4096

need_resched则与中断\异常相关。

时延大的问题可能是软中断调度问题。

原文链接:https://www.cnblogs.com/forwards/p/17381458.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:UDP内核发包流程 - Python技术站

(0)
上一篇 2023年5月7日
下一篇 2023年5月8日

相关文章

  • MongoDB数据库的安装步骤

    下面是MongoDB数据库的安装步骤完整攻略: 步骤一:下载安装包 在MongoDB官网上找到对应版本的MongoDB,然后进行下载。根据操作系统的不同,选择对应的安装包。例如,如果你使用的是Windows 64位操作系统,那就下载Windows 64 Bit安装包。 步骤二:安装MongoDB 下载完成后,运行安装包,按照提示进行安装。具体来说,可以按照下…

    Linux 2023年5月14日
    00
  • [Linux] 安装grafana并且添加influxdb监控

    安装grafana,官网提供了ubuntu的安装包,直接进行安装 wget https://dl.grafana.com/oss/release/grafana_6.5.1_amd64.deb dpkg -i grafana_6.5.1_amd64.deb update-rc.d grafana-server defaults 95 10service gr…

    Linux 2023年4月13日
    00
  • CentOS 7中搭建KVM虚拟化平台的方法步骤

    下面是”CentOS 7中搭建KVM虚拟化平台的方法步骤”的完整攻略。 1. 安装KVM软件包 首先,我们需要安装KVM虚拟化平台所需的软件包。在CentOS 7中,我们可以通过以下命令来实现: sudo yum install qemu-kvm libvirt virt-install bridge-utils 其中,qemu-kvm是KVM平台的核心组件…

    Linux 2023年5月24日
    00
  • CentOS7安装MySQL8的超级详细教程(无坑!)

    下面是“CentOS7安装MySQL8的超级详细教程(无坑!)”的完整攻略,包含两条示例说明。 安装MySQL8前的准备工作 安装必要的依赖包和软件 sudo yum -y install wgetsudo yum -y install bzip2sudo yum -y install makesudo yum -y install cmakesudo yu…

    Linux 2023年5月14日
    00
  • Linux lprm命令

    Linux lprm 命令的作用与使用方法 Linux lprm 命令用于取消打印作业。它可以帮助用户在 Linux 系统中取消已经提交的打印作业。 Linux lprm 命令使用方法 lprm 命令的基本语法如下: lprm [选项] [作业号] 其中,选项是可选的。作业号是要取消的打印作业的编号。下面是一些常用的选项: -P printer:指定打印机名…

    Linux 2023年5月10日
    00
  • linux C语言 用openssl进行签名验签 — 亲测 sha256 sha512

    1.签名 #include <string.h> #include <openssl/rsa.h> #include <openssl/pem.h> #include <openssl/err.h> #include <openssl/sha.h> #include <openssl/cryp…

    Linux 2023年4月11日
    00
  • linux 学习第十五天(vsftpd配置)

    一、vstapd配置 vsftpd 服务(a、匿名公开 b、系统本地账户验证c、虚拟专用用户验证) iptables -F  (清空防火墙) service iptables save  (保存防火墙配置) yum install vsftpd systemctl restart vsftpd systemctl enable vsftpd yum inst…

    Linux 2023年4月11日
    00
  • 上海开放大学-Samba共享服务器基本配置

    扫码获取搭建步骤: 实验名称: Samba共享服务器基本配置 简答题(直接打字回答在题目下方,仅完成4道题目的同学,最高30分。另外70分是加给自己搭建实验环境完成实验报告的同学): 1、Samba是什么,有什么用处? 2、CentOS系统中,在线安装Samba服务,用什么命令? 3、CentOS系统中,如何创建一个共享目录?以自己学号作为文件夹名称,举例说…

    Linux 2023年4月17日
    00
合作推广
合作推广
分享本页
返回顶部