TT Lab
블로그 시작하기
배우기 러닝패스 코스

리눅스 네트워크 진단

getent 와 dig 는 다른 길로 간다

TT Lab 에서 이어서 보기

한 줄 요약

getent 는 이름 서비스 스위치를 거치고 dig 는 거치지 않는다. 둘의 결과가 다르면 문제는 DNS 가 아니라 스텁 리졸버 구간이다.

왜 이게 필요했나

"DNS 가 안 됩니다"라는 신고를 받았다. 접속해서 dig api.example.com 을 쳐 보니 잘 나온다. 그런데 애플리케이션은 계속 이름을 못 찾는다고 한다.

여기서 "dig 가 되니까 DNS 는 정상"이라고 결론 내리면 몇 시간을 잃는다. dig 는 애플리케이션이 쓰는 길로 가지 않기 때문이다.

애플리케이션은 glibc 의 getaddrinfo() 를 부르고, glibc 는 /etc/nsswitch.conf 의 hosts: 줄을 보고 어떤 순서로 물어볼지 정한다. 보통 files dns 이므로 /etc/hosts 를 먼저 보고 그다음 DNS 다. 반면 dig 는 이 모든 것을 건너뛰고 /etc/resolv.conf 의 네임서버에 직접 물어본다.

그래서 /etc/hosts 에 잘못된 항목이 있으면 dig 는 정상인데 앱만 틀린 곳으로 간다. 반대로 hosts 에만 있는 이름은 앱은 되는데 dig 는 못 찾는다. 같은 이름을 물어도 두 도구의 답이 다를 수 있다는 사실 자체가 진단 도구다.

어떻게 동작하나

이름 해석은 하나의 시스템이 아니라 성격이 다른 다섯 구간이 이어 붙은 경로다.

  1. 애플리케이션 + 스텁 리졸버 - /etc/hosts, /etc/nsswitch.conf, 런타임 자체의 캐시
  2. 리졸버 선택 - /etc/resolv.conf
  3. 재귀 리졸버 캐시 - 대부분의 질의가 여기서 끝난다
  4. 위임 추적 - 루트 -> TLD -> 권한 서버
  5. 권한 서버 응답

구간을 나누는 이유는 각 구간을 따로 물어볼 수 있기 때문이다. getent 는 1번을 포함해서 보고, dig 는 2번부터, dig @<server> +norecurse 는 그 리졸버의 캐시만, dig +trace 는 4번을 직접 걷는다. "+trace 는 정상인데 앱은 실패"면 범인은 권한 서버가 아니라 리졸버 구간이다.

/etc/resolv.conf 는 지연의 산수를 결정한다.

여기서 두 가지 계산이 나온다. 첫 네임서버가 죽어 있으면 사용자는 기본값 기준 5초를 그대로 체감한다. 그리고 ndots 가 크면 외부 이름 하나를 푸는 데 실패 질의가 여러 번 앞서 나간다 - 컨테이너에서 이름 해석이 느린 전형적인 원인이다. 해결은 의외로 간단하다. 이름 끝에 점을 붙여 절대 이름으로 만드는 것이다.

TTL 과 네거티브 캐싱. DNS 에는 푸시가 없다. 변경이 퍼지는 것이 아니라 캐시가 만료되는 것이다. 그리고 "없다"는 답도 캐시된다. NXDOMAIN(이름 자체가 없음)과 NODATA(이름은 있는데 그 타입만 없음)는 다른 사건이고, 오타 난 레코드를 고쳤는데 한나절 동안 계속 실패하는 상황의 원인은 대개 네거티브 캐시 시간이다.

현장에서 만나는 모습

dig 의 status 를 먼저 읽어라. NOERROR 인데 답 구역이 비면 NODATA 다. SERVFAIL 은 "이름이 없다"가 아니라 "답을 만들지 못했다" 이고, 상위 도달 실패나 DNSSEC 검증 실패를 뜻한다. REFUSED 는 정책상 거부다.

flags 의 aa 한 글자. 이게 없으면 권한 있는 답이 아니라 캐시에서 온 답이다. 권한 서버는 항상 원래 TTL 을 주고, 리졸버는 남은 시간을 준다. 둘이 다른 것은 정상이다.

분할 지평. 사내 DNS 와 외부 DNS 가 같은 이름에 다른 답을 주는 구성에서는 어디서 물었느냐가 답을 바꾼다. 장애 신고를 받을 때 "VPN 에 접속한 상태인가"를 먼저 확인해야 하는 이유다.

마지막 원칙 하나. 이름이 정상적으로 풀리면 그 시점에서 DNS 조사를 종료하고 연결 계층으로 넘어간다. 이름 해석이 되는데 계속 DNS 를 파는 것이 시간 낭비의 대표적인 형태다.

리눅스에서 이름이 풀리는 실제 경로

dig 는 되는데 프로그램은 안 되는 상황이 잦다. 두 가지가 다른 길을 가기 때문이다. dig 는 DNS 서버에 직접 묻고, 프로그램은 getaddrinfo() 를 거친다.

순서를 정하는 것은 /etc/nsswitch.conf 다.

hosts: files mdns4_minimal [NOTFOUND=return] dns

files 가 /etc/hosts 이고 그것이 DNS 보다 앞에 있다. 그래서 hosts 파일에 남아 있는 옛 항목 하나가 DNS 를 통째로 가린다. mdns4_minimal 뒤의 [NOTFOUND=return] 은 거기서 못 찾으면 DNS 로 가지 말고 실패하라는 뜻이라, .local 도메인이 DNS 로 안 넘어간다.

프로그램이 보는 답은 getent 로 본다.

getent hosts api.example.com      # follows nsswitch as-is
getent ahostsv4 api.example.com   # IPv4 only

/etc/resolv.conf 의 search 가 질의를 늘린다. 짧은 이름 하나를 찾을 때 search 도메인마다 한 번씩 물어본다. ndots:5 이면 점이 5개 미만인 이름은 먼저 search 를 붙여 시도하므로, api.example.com 같은 이름도 search 를 거친 뒤에야 그대로 조회된다. 쿠버네티스 파드에서 외부 도메인 조회가 느린 이유가 이것이다. 이름 끝에 점을 찍으면(api.example.com.) 그 과정을 건너뛴다.

systemd-resolved 를 쓰면 한 겹이 더 있다. /etc/resolv.conf 가 127.0.0.53 을 가리키고 실제 서버는 그 안에 있다. 그때는 상태를 따로 본다.

resolvectl status
resolvectl query api.example.com

캐시는 여러 곳에 있다. 리졸버 데몬, 애플리케이션(특히 JVM 의 networkaddress.cache.ttl), 그리고 브라우저. 레코드를 바꿨는데 한쪽만 새 값을 보는 상황은 대개 애플리케이션 캐시다. JVM 은 기본값이 영구 캐시인 경우가 있어서, 장애 조치 때 옛 주소를 계속 붙잡는다.

같은 증상, 다른 범인 — 이름이 엉뚱한 곳으로 갈 때

"이름이 엉뚱한 주소로 풀린다" 는 신고 아래에는 적어도 네 가지 서로 다른 고장이 있다. 처음 할 일은 고치는 것이 아니라 두 도구의 답을 맞대는 것이다.

hosts 의 낡은 줄. 서버를 옮길 때 DNS 가 퍼지기를 기다리지 못해 /etc/hosts 에 "임시로" 한 줄을 넣는 일은 흔하고, 그 줄은 대개 지워지지 않고 남는다. nsswitch 가 files 를 먼저 보고 files 는 첫 일치에서 멈추므로, 그 아래에 배포 도구가 새 주소를 아무리 적어도 옛 줄이 이긴다. 증거는 단순하다. getent 는 옛 주소를, 사내 DNS 에 직접 물은 dig @<server> 는 새 주소를 준다. 둘이 다르면 TTL 을 기다릴 이유가 없다 — 퍼지지 않은 것이 아니라 애초에 DNS 에 묻지 않은 것이다.

검색 도메인과 와일드카드. 사내 DNS 가 점검 페이지용 와일드카드(*.corp.test)를 두고 있는데 누군가 resolv.conf 에 search corp.test 를 넣었다고 하자. ndots 보다 점이 적은 이름은 검색 도메인을 먼저 붙여 묻기 때문에, 오타 낸 이름도 없앤 서버의 이름도 <name>.corp.test 가 되어 와일드카드에 걸린다. 이때 dig 는 NXDOMAIN 을 주고 getent 는 주소를 준다. dig 는 기본으로 검색 도메인을 붙이지 않기 때문이다. getent 가 돌려준 정식 이름의 끝에 검색 도메인이 붙어 있으면 그것이 결정적 증거다. VPN 클라이언트가 연결할 때 이런 줄을 넣고 끊을 때 되돌리지 못하는 일이 현장에서 실제로 잦다.

순서가 뒤집힌 nsswitch. hosts: dns files 로 바뀌면 DNS 가 답하는 이름은 hosts 의 고정값을 무시한다. getent 와 dig 의 답이 같고 둘 다 hosts 와 다르면 이쪽이다.

로컬 리졸버. resolv.conf 가 127.0.0.1(캐시나 VPN 프록시)을 가리키면 그 데몬의 답이 곧 모두의 답이다. 이름을 그대로 물어도 틀린 답이 오고, dig 의 SERVER: 줄이 127.0.0.1 을 가리킨다. 그 데몬을 죽이기만 하면 증상은 사라지지만 resolv.conf 는 여전히 그 주소를 가리켜, 다음에 누가 그 포트를 차지하면 같은 일이 난다.

판단의 축은 둘이다. getent 와 dig 의 답이 같은가(다르면 스텁 구간의 hosts 나 search, 같으면 서버 쪽의 로컬 리졸버나 레코드), 그리고 getent 가 돌려준 정식 이름이 물은 이름과 같은가(다르면 별칭이나 검색 도메인이 끼었다). 고친 뒤에는 원래 설정이 살아 있는지도 본다. 다른 이름들이 여전히 그 순서와 그 서버에 기대고 있고, 증상만 지우는 수리는 다음 고장을 예약해 둔다.

다음 실습에서 할 것

/etc/resolv.conf 와 /etc/nsswitch.conf 를 직접 읽어 스텁 리졸버가 어떻게 동작하는지 확인하고, /etc/hosts 에 항목을 추가해 getent 는 찾고 dig 는 못 찾는 상황을 직접 만든다. search 와 ndots 로 이름이 어떤 순서로 물어지는지 판단하고, 같은 이름을 두 줄로 적어 어느 쪽이 이기는지 확인한다. 마지막 두 사건에서는 "이름이 엉뚱한 주소로 풀린다" 는 같은 증상을 서로 다른 원인으로 겪고, 두 도구의 답을 맞대어 가려낸다.