TT Lab
블로그 시작하기
배우기 러닝패스 코스

리눅스 네트워크 진단

소켓과 포트 진단

TT Lab 에서 이어서 보기

목표

리스닝 소켓의 바인딩 범위와 대기 큐를 ss 와 /proc/net/tcp 두 경로로 읽고, 그 읽기로 「Connection refused」 와 「연결이 매달린다」 의 서로 다른 원인을 가려냅니다.

왜 중요한가

"서버 안에서 curl 은 되는데 밖에서는 안 된다"는 신고의 대부분은 방화벽이 아니라 바인딩 문제입니다. 127.0.0.1:8080 에 묶인 소켓은 같은 호스트에서 온 연결만 받습니다. 그리고 리스닝 소켓의 Send-Q 는 백로그 최대치, Recv-Q 는 accept 대기 큐의 현재 길이입니다 — 확립된 연결에서의 뜻과 달라 자주 오독됩니다.

끝의 두 사건은 이 표 읽기를 실전에 씁니다. 클라이언트가 받는 「Connection refused」 는 아무도 안 들을 때도, 다른 주소에만 들을 때도, 다른 포트에서 들을 때도 글자 하나 다르지 않습니다. 「매달린다」 와 「Address already in use」 도 TIME-WAIT 탓으로 돌리기 쉽지만, 실제 답은 듣는 소켓 한 줄의 주인과 큐 길이에 있습니다. 관리 도구가 running 이라고 말해도 커널의 소켓 표가 진실입니다.

단계

/root/net 디렉터리에서 작업합니다.

  1. HTTP 서버를 포트 8080 에 루프백 주소에만 묶어 백그라운드로 띄우고 PID 를 /root/net/http_pid.txt 에 적으세요.
  2. HTTP 서버를 포트 8081 에 모든 주소로 묶어 띄우고 PID 를 /root/net/all_pid.txt 에 적으세요. 8080 은 그대로 루프백 전용이어야 합니다.
  3. 두 포트의 바인딩 범위를 /root/net/binding.txt 에 8080=<loopback|all> · 8081=<loopback|all> 두 줄로 적으세요.
  4. 8081 로 연결을 하나 열어 닫지 않고 유지하는 프로세스를 띄우고 PID 를 /root/net/client_pid.txt 에 적으세요.
  5. ss 를 쓰지 말고 /proc/net/tcp 에서 8080 리스닝 소켓의 줄을 찾아, 그 줄의 local_address 값(address:port, 파일에 적힌 16진수 그대로)을 /root/net/hexport.txt 에 적으세요.
  6. 8080 리스닝 소켓의 백로그 최대치를 /root/net/backlog.txt 에 숫자만 적으세요.
  7. 사건 incident ln-sock-refused — 세 API 가 파드 주소로 붙으면 똑같이 Connection refused 입니다. 셋 다 고치고 서비스마다 원인을 보고하세요.
  8. 사건 incident ln-sock-stuck — report 는 연결이 매달리고, notify 2.0 은 뜨지 않습니다. report 는 재시작 없이 살리고, 둘의 원인을 보고하세요.

참고

루프백에만 묶어 서버 띄우기

HTTP 서버 하나를 포트 8080 에 루프백 주소(127.0.0.1)에만 묶어 백그라운드로 띄우고 PID 를 /root/net/http_pid.txt 에 적으세요. 파이썬 표준 라이브러리의 HTTP 서버를 써도 됩니다.

어느 주소에서 들을지는 서버를 띄울 때 고릅니다 — python3 의 http.server 모듈 도움말(-h)에 그 옵션이 있습니다. 띄운 뒤 듣는 소켓 목록의 Local Address 열이 127.0.0.1:8080 인지 확인하세요.

모든 주소에 묶어 띄우기

또 하나의 HTTP 서버를 포트 8081 에 모든 주소(0.0.0.0) 로 묶어 백그라운드로 띄우고 PID 를 /root/net/all_pid.txt 에 적으세요. 8080 은 그대로 루프백 전용이어야 합니다.

0.0.0.0 에 묶으면 어느 인터페이스로 온 연결이든 받습니다. 8080 을 다시 띄우지 않도록 주의하세요.

바인딩 범위 기록하기

두 포트의 바인딩 범위를 /root/net/binding.txt 에 다음 두 줄로 적으세요. 값은 loopback 또는 all 입니다.

듣는 소켓의 Local Address 열을 보세요. 127.0.0.1 은 루프백, 0.0.0.0(또는 *)은 모든 주소입니다.

연결 붙잡아 두기

8081 로 연결을 하나 열어 닫지 않고 유지하는 프로세스를 띄우고 PID 를 /root/net/client_pid.txt 에 적으세요.

연결을 연 프로세스가 끝나면 연결도 닫힙니다. 연결을 연 뒤 오래 잠드는 작은 클라이언트(python3 의 socket 모듈이면 충분합니다)를 백그라운드로 두세요. 확인은 ESTAB 상태의 소켓 목록으로 합니다.

/proc/net/tcp 직접 읽기

ss 를 쓰지 말고 /proc/net/tcp 에서 8080 리스닝 소켓의 줄을 찾아, 그 줄의 local_address 값(address:port, 파일에 적힌 16진수 그대로)을 /root/net/hexport.txt 에 적으세요.

이 파일은 포트뿐 아니라 주소도 16진수로 적습니다. 포트는 사람이 읽는 순서 그대로이지만, IPv4 주소는 바이트 순서가 뒤집혀 적힙니다(리틀 엔디언). 먼저 8080 을 16진수로 바꾸고, 상태 칸이 LISTEN(0A)인 줄을 고르세요.

백로그 최대치 읽기

8080 리스닝 소켓의 백로그 최대치를 /root/net/backlog.txt 에 숫자만 적으세요.

듣는 소켓에서는 Recv-Q 와 Send-Q 의 뜻이 확립된 연결과 다릅니다. 둘 중 무엇이 「지금 기다리는 수」 이고 무엇이 「상한」 인지 읽기 자료를 떠올리세요.

사건 — 세 API 가 똑같이 Connection refused

incident ln-sock-refused 를 실행한 뒤 pay-api(9101) · auth-api(9102) · cart-api(9103) 가 모두 파드 주소(eth0 의 IPv4)로 붙었을 때 답하게 고치세요. 고친 것은 /etc/ln-svc/<name>.conf 에 남겨 다시 띄워도 유지되게 하고, 서비스는 ln-svc 로 띄워 관리 도구가 실제 프로세스를 알게 하세요. /root/incident/ln-sock-refused/report.txt 에 서비스마다 <name>: <code> 한 줄씩 세 줄을 적으세요. 코드 후보: backlog-full(대기 큐가 가득 찼다) · firewall(패킷이 중간에서 막힌다) · loopback-only(127.0.0.1 에만 묶였다) · not-listening(아무도 듣지 않는다) · wrong-port(다른 포트에서 듣는다).

방향: 클라이언트가 받는 RST 는 셋 다 같습니다. 차이는 서버 쪽 소켓 표에만 있으니 관리 도구의 running 을 믿지 말고 커널에게 직접 물으세요. 도구: ss(듣는 소켓과 그 주인 프로세스를 함께 보는 옵션), ip, ps, curl. 구체: 포트마다 듣는 소켓의 주소·포트와 그 주인, 관리 도구가 믿는 번호가 실제로 누구인지, 그리고 운영 문서의 포트 표와 각 설정을 맞대 보세요. 다시 띄운 뒤 옛 프로세스가 남지 않았는지도 확인하세요.

사건 — 매달리는 연결과 뜨지 않는 새 판

incident ln-sock-stuck 을 실행한 뒤 두 가지를 고치세요. report(9401)는 재시작하지 말고 같은 프로세스 그대로 다시 요청에 답하게, notify(9402)는 2.0 이 9402 에서 답하게(ln-svc 로 띄워서) 만드세요. /root/incident/ln-sock-stuck/report.txt 에 report: <code> 와 notify: <code> 두 줄을 적으세요. 코드 후보: backlog-full(서버가 받아 가지 않아 대기 큐가 찼다) · firewall(패킷이 중간에서 버려진다) · orphan-holder(지난 프로세스가 아직 포트를 쥐고 있다) · time-wait(닫힌 연결의 TIME-WAIT 가 포트를 막는다) · wrong-port(다른 포트에서 듣는다).

방향: 「매달린다」 와 「이미 쓰는 중」 은 듣는 소켓 한 줄의 서로 다른 칸이 답합니다. TIME-WAIT 는 LISTEN 과 다른 줄이라는 것도 기억하세요. 도구: ss, ps, /proc, curl -w. 구체: 듣는 소켓의 Recv-Q 와 Send-Q(듣는 소켓에서의 뜻), /proc/net/tcp 에서 그 포트 LISTEN 줄의 rx_queue, 그 포트를 쥔 PID 의 /proc//status 에 있는 State 와 PPid, 그리고 그 프로세스 명령줄의 경로가 어느 판인지 보세요. 로그(/var/log/ln-svc/)의 마지막 줄도 증거입니다.