소켓과 포트 진단
목표
리스닝 소켓의 바인딩 범위와 대기 큐를 ss 와 /proc/net/tcp 두 경로로 읽고, 그 읽기로 「Connection refused」 와 「연결이 매달린다」 의 서로 다른 원인을 가려냅니다.
왜 중요한가
"서버 안에서 curl 은 되는데 밖에서는 안 된다"는 신고의 대부분은 방화벽이 아니라 바인딩 문제입니다. 127.0.0.1:8080 에 묶인 소켓은 같은 호스트에서 온 연결만 받습니다. 그리고 리스닝 소켓의 Send-Q 는 백로그 최대치, Recv-Q 는 accept 대기 큐의 현재 길이입니다 — 확립된 연결에서의 뜻과 달라 자주 오독됩니다.
끝의 두 사건은 이 표 읽기를 실전에 씁니다. 클라이언트가 받는 「Connection refused」 는 아무도 안 들을 때도, 다른 주소에만 들을 때도, 다른 포트에서 들을 때도 글자 하나 다르지 않습니다. 「매달린다」 와 「Address already in use」 도 TIME-WAIT 탓으로 돌리기 쉽지만, 실제 답은 듣는 소켓 한 줄의 주인과 큐 길이에 있습니다. 관리 도구가 running 이라고 말해도 커널의 소켓 표가 진실입니다.
단계
/root/net 디렉터리에서 작업합니다.
- HTTP 서버를 포트
8080에 루프백 주소에만 묶어 백그라운드로 띄우고 PID 를/root/net/http_pid.txt에 적으세요. - HTTP 서버를 포트
8081에 모든 주소로 묶어 띄우고 PID 를/root/net/all_pid.txt에 적으세요. 8080 은 그대로 루프백 전용이어야 합니다. - 두 포트의 바인딩 범위를
/root/net/binding.txt에8080=<loopback|all>·8081=<loopback|all>두 줄로 적으세요. - 8081 로 연결을 하나 열어 닫지 않고 유지하는 프로세스를 띄우고 PID 를
/root/net/client_pid.txt에 적으세요. ss를 쓰지 말고/proc/net/tcp에서 8080 리스닝 소켓의 줄을 찾아, 그 줄의local_address값(address:port, 파일에 적힌 16진수 그대로)을/root/net/hexport.txt에 적으세요.- 8080 리스닝 소켓의 백로그 최대치를
/root/net/backlog.txt에 숫자만 적으세요. - 사건
incident ln-sock-refused— 세 API 가 파드 주소로 붙으면 똑같이 Connection refused 입니다. 셋 다 고치고 서비스마다 원인을 보고하세요. - 사건
incident ln-sock-stuck— report 는 연결이 매달리고, notify 2.0 은 뜨지 않습니다. report 는 재시작 없이 살리고, 둘의 원인을 보고하세요.
참고
- 사건 도구:
incident list는 낼 수 있는 사건과 한 줄 증상을,incident show <name>은 티켓을 다시 보여 줍니다. 같은 사건을 다시 내면 처음 고장 상태로 돌아갑니다. - 보고서는
/root/incident/<incident-name>/report.txt에<service>: <candidate-code>를 서비스마다 한 줄씩 적습니다. 채점은 보고서와 함께 실제 연결 시도·ss·/proc/net/tcp를 봅니다. /proc/net/tcp의local_address는IP:PORT가 모두 16진수이고 상태0A가 LISTEN 입니다. LISTEN 줄의rx_queue는 accept 를 기다리는 연결 수입니다.- 이 파드에는 systemctl 이 없어서 사건의 서비스는
ln-svc가 관리합니다.ln-svc status는 pid 파일만 보고 판단합니다. - 흔한 실수: 4번에서 연결을 열자마자 닫으면 ESTABLISHED 가 사라집니다. 사건에서 설정을 고친 뒤
start만 하면 옛 프로세스가 고아로 남습니다.
루프백에만 묶어 서버 띄우기
HTTP 서버 하나를 포트 8080 에 루프백 주소(127.0.0.1)에만 묶어 백그라운드로 띄우고 PID 를 /root/net/http_pid.txt 에 적으세요. 파이썬 표준 라이브러리의 HTTP 서버를 써도 됩니다.
어느 주소에서 들을지는 서버를 띄울 때 고릅니다 — python3 의 http.server 모듈 도움말(-h)에 그 옵션이 있습니다. 띄운 뒤 듣는 소켓 목록의 Local Address 열이 127.0.0.1:8080 인지 확인하세요.
모든 주소에 묶어 띄우기
또 하나의 HTTP 서버를 포트 8081 에 모든 주소(0.0.0.0) 로 묶어 백그라운드로 띄우고 PID 를 /root/net/all_pid.txt 에 적으세요. 8080 은 그대로 루프백 전용이어야 합니다.
0.0.0.0 에 묶으면 어느 인터페이스로 온 연결이든 받습니다. 8080 을 다시 띄우지 않도록 주의하세요.
바인딩 범위 기록하기
두 포트의 바인딩 범위를 /root/net/binding.txt 에 다음 두 줄로 적으세요. 값은 loopback 또는 all 입니다.
8080=<value>8081=<value>
듣는 소켓의 Local Address 열을 보세요. 127.0.0.1 은 루프백, 0.0.0.0(또는 *)은 모든 주소입니다.
연결 붙잡아 두기
8081 로 연결을 하나 열어 닫지 않고 유지하는 프로세스를 띄우고 PID 를 /root/net/client_pid.txt 에 적으세요.
연결을 연 프로세스가 끝나면 연결도 닫힙니다. 연결을 연 뒤 오래 잠드는 작은 클라이언트(python3 의 socket 모듈이면 충분합니다)를 백그라운드로 두세요. 확인은 ESTAB 상태의 소켓 목록으로 합니다.
/proc/net/tcp 직접 읽기
ss 를 쓰지 말고 /proc/net/tcp 에서 8080 리스닝 소켓의 줄을 찾아, 그 줄의 local_address 값(address:port, 파일에 적힌 16진수 그대로)을 /root/net/hexport.txt 에 적으세요.
이 파일은 포트뿐 아니라 주소도 16진수로 적습니다. 포트는 사람이 읽는 순서 그대로이지만, IPv4 주소는 바이트 순서가 뒤집혀 적힙니다(리틀 엔디언). 먼저 8080 을 16진수로 바꾸고, 상태 칸이 LISTEN(0A)인 줄을 고르세요.
백로그 최대치 읽기
8080 리스닝 소켓의 백로그 최대치를 /root/net/backlog.txt 에 숫자만 적으세요.
듣는 소켓에서는 Recv-Q 와 Send-Q 의 뜻이 확립된 연결과 다릅니다. 둘 중 무엇이 「지금 기다리는 수」 이고 무엇이 「상한」 인지 읽기 자료를 떠올리세요.
사건 — 세 API 가 똑같이 Connection refused
incident ln-sock-refused 를 실행한 뒤 pay-api(9101) · auth-api(9102) · cart-api(9103) 가 모두 파드 주소(eth0 의 IPv4)로 붙었을 때 답하게 고치세요. 고친 것은 /etc/ln-svc/<name>.conf 에 남겨 다시 띄워도 유지되게 하고, 서비스는 ln-svc 로 띄워 관리 도구가 실제 프로세스를 알게 하세요. /root/incident/ln-sock-refused/report.txt 에 서비스마다 <name>: <code> 한 줄씩 세 줄을 적으세요. 코드 후보: backlog-full(대기 큐가 가득 찼다) · firewall(패킷이 중간에서 막힌다) · loopback-only(127.0.0.1 에만 묶였다) · not-listening(아무도 듣지 않는다) · wrong-port(다른 포트에서 듣는다).
방향: 클라이언트가 받는 RST 는 셋 다 같습니다. 차이는 서버 쪽 소켓 표에만 있으니 관리 도구의 running 을 믿지 말고 커널에게 직접 물으세요. 도구: ss(듣는 소켓과 그 주인 프로세스를 함께 보는 옵션), ip, ps, curl. 구체: 포트마다 듣는 소켓의 주소·포트와 그 주인, 관리 도구가 믿는 번호가 실제로 누구인지, 그리고 운영 문서의 포트 표와 각 설정을 맞대 보세요. 다시 띄운 뒤 옛 프로세스가 남지 않았는지도 확인하세요.
사건 — 매달리는 연결과 뜨지 않는 새 판
incident ln-sock-stuck 을 실행한 뒤 두 가지를 고치세요. report(9401)는 재시작하지 말고 같은 프로세스 그대로 다시 요청에 답하게, notify(9402)는 2.0 이 9402 에서 답하게(ln-svc 로 띄워서) 만드세요. /root/incident/ln-sock-stuck/report.txt 에 report: <code> 와 notify: <code> 두 줄을 적으세요. 코드 후보: backlog-full(서버가 받아 가지 않아 대기 큐가 찼다) · firewall(패킷이 중간에서 버려진다) · orphan-holder(지난 프로세스가 아직 포트를 쥐고 있다) · time-wait(닫힌 연결의 TIME-WAIT 가 포트를 막는다) · wrong-port(다른 포트에서 듣는다).
방향: 「매달린다」 와 「이미 쓰는 중」 은 듣는 소켓 한 줄의 서로 다른 칸이 답합니다. TIME-WAIT 는 LISTEN 과 다른 줄이라는 것도 기억하세요. 도구: ss, ps, /proc, curl -w. 구체: 듣는 소켓의 Recv-Q 와 Send-Q(듣는 소켓에서의 뜻), /proc/net/tcp 에서 그 포트 LISTEN 줄의 rx_queue, 그 포트를 쥔 PID 의 /proc//status 에 있는 State 와 PPid, 그리고 그 프로세스 명령줄의 경로가 어느 판인지 보세요. 로그(/var/log/ln-svc/)의 마지막 줄도 증거입니다.