TT Lab
博客 开始
学习 学习路径 课程

Linux 网络诊断

套接字与端口诊断

在 TT Lab 中继续学习

目标

通过 ss 和 /proc/net/tcp 两条途径读取监听套接字的绑定范围和等待队列,并用这种读法分辨出“Connection refused”与“连接挂起”的不同原因。

为什么重要

“服务器内部 curl 可以,外部却不行”的报告,大多不是防火墙问题,而是绑定问题。绑定到 127.0.0.1:8080 的套接字只接受来自同一主机的连接。另外,监听套接字的 Send-Q 是 backlog 最大值,Recv-Q 是 accept 等待队列的当前长度——与已建立连接中的含义不同,经常被误读。

最后两个事件要把这种读表能力用于实战。客户端收到的“Connection refused”,无论是没人监听、只在别的地址上监听,还是在别的端口上监听,都一字不差。“挂起”和“Address already in use”也很容易归咎于 TIME-WAIT,但真正的答案在监听套接字那一行的所有者和队列长度里。即使管理工具说 running,内核的套接字表才是真相。

步骤

在 /root/net 目录中操作。

  1. 在端口 8080 上启动一个只绑定回环地址的 HTTP 服务器(后台运行),并把 PID 写入 /root/net/http_pid.txt。
  2. 在端口 8081 上启动一个绑定所有地址的 HTTP 服务器,并把 PID 写入 /root/net/all_pid.txt。8080 必须仍然只用于回环。
  3. 把两个端口的绑定范围以 8080=<loopback|all>、8081=<loopback|all> 两行写入 /root/net/binding.txt。
  4. 启动一个向 8081 打开连接并保持不关闭的进程,并把 PID 写入 /root/net/client_pid.txt。
  5. 不使用 ss,而是在 /proc/net/tcp 中找到 8080 监听套接字的那一行,把该行的 local_address 值(address:port,按文件中写的十六进制原样)写入 /root/net/hexport.txt。
  6. 把 8080 监听套接字的 backlog 最大值以纯数字写入 /root/net/backlog.txt。
  7. 事件 incident ln-sock-refused —— 三个 API 通过 Pod 地址连接时,都同样返回 Connection refused。把三个都修好,并按服务报告原因。
  8. 事件 incident ln-sock-stuck —— report 的连接挂起,notify 2.0 启动不了。在不重启的前提下让 report 恢复,并报告两者的原因。

参考

只绑定回环地址启动服务器

在端口 8080 上启动一个**只绑定回环地址(127.0.0.1)**的 HTTP 服务器(后台运行),并把 PID 写入 /root/net/http_pid.txt。可以使用 Python 标准库的 HTTP 服务器。

在哪个地址上监听,是在启动服务器时选择的——python3 的 http.server 模块帮助(-h)中有这个选项。启动后确认监听套接字列表中 Local Address 列是否为 127.0.0.1:8080。

绑定所有地址启动

在端口 8081 上再启动一个绑定**所有地址(0.0.0.0)**的 HTTP 服务器(后台运行),并把 PID 写入 /root/net/all_pid.txt。8080 必须仍然只用于回环。

绑定到 0.0.0.0 后,从任何接口来的连接都会接收。注意不要重新启动 8080。

记录绑定范围

把两个端口的绑定范围按以下两行写入 /root/net/binding.txt。值为 loopback 或 all。

看监听套接字的 Local Address 列。127.0.0.1 是回环,0.0.0.0(或 *)是所有地址。

抓住一个连接

启动一个向 8081 打开连接并保持不关闭的进程,并把 PID 写入 /root/net/client_pid.txt。

打开连接的进程结束,连接也会关闭。把一个打开连接后长时间休眠的小客户端(用 python3 的 socket 模块就够了)放到后台。用 ESTAB 状态的套接字列表来确认。

直接读取 /proc/net/tcp

不使用 ss,在 /proc/net/tcp 中找到 8080 监听套接字所在的行,把该行的 local_address 值(address:port,按文件中十六进制原样)写入 /root/net/hexport.txt。

这个文件不仅端口,连地址也用十六进制写。端口按人读的顺序写,而 IPv4 地址的字节顺序是反过来的(小端序)。先把 8080 转成十六进制,再挑出状态栏为 LISTEN(0A)的行。

读取 backlog 最大值

把 8080 监听套接字的 backlog 最大值以纯数字写入 /root/net/backlog.txt。

在监听套接字上,Recv-Q 和 Send-Q 的含义与已建立的连接不同。回想阅读材料,两者中哪个是“当前等待的数量”,哪个是“上限”。

事件——三个 API 同样返回 Connection refused

运行 incident ln-sock-refused 后,请修复,让 pay-api(9101)、auth-api(9102)、cart-api(9103)在通过 Pod 地址(eth0 的 IPv4)连接时都能应答。修改要保留在 /etc/ln-svc/<name>.conf 中,重新启动后也要保持;服务要用 ln-svc 启动,让管理工具知道实际的进程。在 /root/incident/ln-sock-refused/report.txt 中每个服务写一行 <name>: <code>,共三行。候选代码:backlog-full(等待队列已满)、firewall(数据包在中途被拦截)、loopback-only(只绑定在 127.0.0.1)、not-listening(没有人监听)、wrong-port(在别的端口上监听)。

方向:客户端收到的 RST 三者都一样。差异只存在于服务器端的套接字表中,所以不要相信管理工具的 running,直接问内核。 工具:ss(同时显示监听套接字及其所属进程的选项)、ip、ps、curl。 具体:逐个端口查看监听套接字的地址、端口及其所有者,管理工具认定的号码实际是谁,并把运维文档中的端口表与各个配置对照。重新启动后,还要确认旧进程没有残留。

事件——挂起的连接与起不来的新版本

运行 incident ln-sock-stuck 后修复两件事。让 report(9401)不重启、保持同一个进程重新应答请求;让 notify(9402)的 2.0 在 9402 上应答(用 ln-svc 启动)。在 /root/incident/ln-sock-stuck/report.txt 中写入 report: <code> 和 notify: <code> 两行。候选代码:backlog-full(服务器不接收,等待队列已满)、firewall(数据包在中途被丢弃)、orphan-holder(之前的进程仍占着端口)、time-wait(已关闭连接的 TIME-WAIT 挡住了端口)、wrong-port(在别的端口上监听)。

方向:“挂起”和“已在使用”由监听套接字那一行中的不同栏位回答。也要记住 TIME-WAIT 与 LISTEN 是不同的行。 工具:ss、ps、/proc、curl -w。 具体:看监听套接字的 Recv-Q 和 Send-Q(在监听套接字上的含义)、/proc/net/tcp 中该端口 LISTEN 行的 rx_queue、占用该端口的 PID 在 /proc//status 中的 State 和 PPid,以及该进程命令行的路径属于哪个版本。日志(/var/log/ln-svc/)的最后一行也是证据。