KubeVirt VM 위에 kubespray 로 멀티클러스터 세우기
클러스터가 여럿일 때 — 만들기·배포·연결의 세 층
한 줄 요약
손으로 하는 멀티클러스터(컨텍스트를 바꿔 두 번 적용하기)는 클러스터 둘까지입니다. 그 뒤로는 무엇을 어디에 배포할지(Argo CD ApplicationSet), 클러스터 자체를 어떻게 만들고 바꿀지(kubespray·Cluster API), 클러스터 사이 서비스를 어떻게 찾을지(MCS API·ClusterMesh·Submariner)를 각각 맡는 도구로 나눠 생각합니다.
왜 이게 필요했나
3모듈에서 클러스터 둘을 세우고 같은 매니페스트를 두 번 적용했습니다. 명령은 단순했지만 위험은 이미 보였습니다. 한쪽을 빠뜨리면 아무도 모르게 두 클러스터가 어긋나고, 지금 어느 클러스터를 보고 있는지는 명령 줄의 --context 하나에 달려 있습니다. 클러스터가 다섯, 열이 되면 이 방식은 사람의 주의력에 기대는 운영이 됩니다.
또 하나는 연결입니다. NodePort 로 경계를 넘을 수는 있었지만, 상대 노드의 주소를 사람이 알아야 했고, 그 노드가 사라지면 끊기며, 서비스 이름으로 찾을 수도 없습니다. 클러스터를 여럿 두는 이유가 장애 대비라면, 한쪽이 죽었을 때 다른 쪽으로 넘어가는 길이 이름 수준에서 있어야 합니다.
어떻게 동작하나
세 가지 질문, 세 층의 도구
질문 도구(예) 이 코스에서 손으로 한 것
클러스터를 어떻게 만들고 바꾸나 kubespray · Cluster API 인벤토리 두 벌, cluster.yml 두 번
무엇을 어디에 배포하나 Argo CD ApplicationSet · Flux --context 로 두 번 apply
서비스를 클러스터 너머로 찾나 MCS API · ClusterMesh · Submariner NodePort + 노드 주소
층을 나누는 이유는 바뀌는 속도가 다르기 때문입니다. 클러스터 자체는 몇 달에 한 번 바뀌고, 배포는 하루에 여러 번 바뀌며, 서비스 연결은 그 사이에서 계속 상태를 맞춥니다. 한 도구로 셋을 다 하려 하면 가장 느린 것에 맞춰 가장 빠른 것이 묶입니다.
클러스터를 만드는 층
kubespray 는 인벤토리 하나가 클러스터 하나이고, 클러스터를 늘리는 것은 인벤토리를 늘리는 것입니다. 노드가 이미 있는(온프렘·VM) 곳에 맞습니다. Cluster API 는 클러스터를 쿠버네티스 오브젝트로 선언합니다. 관리 클러스터에 Cluster·MachineDeployment 같은 오브젝트를 만들면, 인프라 공급자(vSphere·OpenStack·클라우드, KubeVirt 도 있다)가 VM 을 만들고 kubeadm 으로 조립합니다. 노드 교체·업그레이드가 오브젝트를 고치는 일이 되는 대신, 관리 클러스터라는 것이 하나 더 생깁니다.
배포의 층
Argo CD 는 대상 클러스터를 Secret 으로 등록합니다(argocd cluster add <컨텍스트>). 등록하면 대상 클러스터에 Argo CD 가 쓸 서비스 계정과 권한이 만들어지고, 그 토큰이 Argo CD 쪽 Secret 에 들어갑니다. ApplicationSet 의 클러스터 생성기는 등록된 클러스터 목록(라벨로 골라서)마다 Application 을 하나씩 만들어 줍니다. "두 번 적용" 이 "목록에 있는 모든 클러스터에 같은 상태를 맞춘다" 로 바뀌고, 한쪽이 어긋나면 화면에 OutOfSync 로 보입니다. 권한의 방향도 정해야 합니다. 한 곳의 Argo CD 가 모든 클러스터에 쓰는 허브 방식은 관리가 쉽지만 그 Argo CD 가 모든 클러스터의 열쇠를 쥡니다.
연결의 층
쿠버네티스 SIG Multicluster 의 MCS API 는 ServiceExport·ServiceImport 두 오브젝트로 "이 서비스를 다른 클러스터에도 보여 준다" 를 표준으로 정했습니다. 내보낸 서비스는 <서비스>.<네임스페이스>.svc.clusterset.local 이름으로 찾습니다. 구현은 여럿입니다. Cilium ClusterMesh 는 각 클러스터의 Cilium 이 서로의 엔드포인트를 알게 해 파드끼리 직접 라우팅하고, Submariner 는 클러스터 사이에 게이트웨이 터널을 놓습니다. 둘 다 파드 대역이 겹치지 않아야 동작하고(Submariner 는 겹침을 피하는 별도 기능이 있지만 대가가 있다), 클러스터 사이에 열어야 할 포트가 생깁니다. 3모듈에서 대역을 처음부터 나눈 것이 이 층을 위한 준비였습니다.
KubeFed 는 왜 없나
한때 연방(Federation v2, KubeFed)이 "한 API 로 여러 클러스터에 배포" 를 맡았지만, 쿠버네티스 SIG 에서 보관(archived) 처리되었습니다. 배포는 GitOps 도구로, 연결은 MCS API 구현으로 나뉜 것이 지금의 모양입니다. 오래된 글에서 KubeFed 를 권하면 그 시점을 확인하세요.
현장에서 만나는 모습
작은 조직은 대개 "운영·개발 두 클러스터 + Argo CD 하나" 로 시작합니다. 사고는 개발용 Argo CD 가 운영 클러스터 Secret 을 들고 있다가, 개발 브랜치의 변경이 운영에 동기화되는 형태로 납니다. 그래서 ApplicationSet 의 클러스터 선택은 이름이 아니라 라벨(env=prod)로 하고, 운영 클러스터를 등록할 때의 권한을 네임스페이스로 좁힙니다. 지역별 클러스터를 이으려는 순간에는 거의 언제나 대역 계획이 문제가 됩니다 — 처음에 기본값으로 세운 클러스터들은 파드 대역이 같습니다.
다음 퀴즈에서 할 것
세 층의 도구가 각각 무엇을 맡는지, Argo CD 가 클러스터를 등록할 때 대상 클러스터에 무엇이 생기는지, MCS API 의 이름 규칙과 대역 겹침의 영향, KubeFed 의 현재 상태를 확인합니다.