Rook-Ceph 해설 3: rook-ceph·rook-ceph-cluster 1.21.1 차트의 values 읽기

상태: 초안 (2026-10-29), 차트 원문 기준, 실측 없음. 값은 모두 Rook v1.21.1 태그가 가리키는 커밋 09d2f0d8d883b70b30de796c4390371be725ff3b 의 deploy/charts/rook-ceph/values.yaml 과 deploy/charts/rook-ceph-cluster/values.yaml 에서 직접 읽었고, 표의 줄 번호는 그 파일의 줄입니다. 자원 합계와 용량은 values 와 Ceph 문서의 기본값으로 계산한 값이고 재지 않았습니다. TT Lab 실습 클러스터(VM 세 대, VM 마다 빈 디스크 17GiB)에서 실제로 뜬 파드와 용량은 4편에서 확인합니다. 작성 규칙: 실측 데이터가 기본이고, 못 잰 것은 「미실측」, 원문에서 찾지 못한 것은 「미확인」으로 표시합니다.

목차

• 1. 차트는 셋이고, 순서가 있다
• 2. rook-ceph(operator 차트)의 중요한 값
• 3. rook-ceph-cluster 의 바깥 값
• 4. cephClusterSpec: CephCluster 그 자체
  • 자원 요청(resources)
• 5. 블록 풀, 파일시스템, 오브젝트 스토어의 기본값
  • cephBlockPools: ceph-blockpool 과 StorageClass ceph-block
  • cephFileSystems: ceph-filesystem 과 StorageClass ceph-filesystem
  • cephObjectStores: ceph-objectstore 와 StorageClass ceph-bucket
• 6. 기본값 그대로 쓰면 위험한 곳
• 7. 실습 클러스터에서 메모리와 CPU 를 줄일 때
  • 용량 계산
• 8. 정리
• 참고

1. 차트는 셋이고, 순서가 있다

Rook 문서(Helm Charts Overview)는 v1.21 의 차트를 셋으로 소개합니다. 흔히 「rook-ceph 와 rook-ceph-cluster 두 개를 깔면 된다」 고 알고 있지만, v1.20 부터 가운데에 하나가 더 생겼습니다.

2번을 빠뜨리면 PVC 가 묶이지 않습니다. 업그레이드 문서는 이 차트가 없으면 서비스 계정이 없어 CSI 드라이버가 실패 상태가 된다고 적고, operator 차트 문서의 설치 절차도 「operator 차트 → CSI 드라이버 차트 → 클러스터」 순서입니다 (Ceph Operator Helm Chart, Rook Upgrades). ceph-csi-drivers 는 기본값만으로 설치하면 드라이버가 실패하므로, Rook 저장소의 deploy/charts/ceph-csi-drivers/values.yaml을 반드시 함께 넣으라고 문서가 강조합니다. 그 파일이 드라이버 이름을 rook-ceph.rbd.csi.ceph.com 처럼 operator 네임스페이스에 맞춥니다.

helm repo add rook-release https://charts.rook.io/release
helm install --create-namespace -n rook-ceph rook-ceph rook-release/rook-ceph -f operator-values.yaml

helm repo add ceph-csi-operator https://ceph.github.io/ceph-csi-operator
helm install -n rook-ceph ceph-csi-drivers ceph-csi-operator/ceph-csi-drivers \
  -f https://raw.githubusercontent.com/rook/rook/v1.21.1/deploy/charts/ceph-csi-drivers/values.yaml

helm install -n rook-ceph rook-ceph-cluster rook-release/rook-ceph-cluster \
  --set operatorNamespace=rook-ceph -f cluster-values.yaml

명령은 문서의 예를 그대로 옮긴 것입니다. 클러스터 차트 문서는 values 전체를 복사하지 말고 바꿀 값만 담은 파일을 만들라고 권합니다. 참고로 태그의 Chart.yaml 에는 두 차트 모두 version: 0.0.1 이 적혀 있어서, 배포되는 차트의 판 번호는 릴리스 과정에서 붙는 것으로 보입니다(미확인). v1.21 부터 OCI 차트 태그에는 v 가 붙지 않습니다.

2. rook-ceph(operator 차트)의 중요한 값

파일 전체가 245줄로 짧습니다 (values.yaml).

CSI 설정은 대부분 이 차트를 떠났습니다. 예전에는 이 차트의 csi 아래에서 provisioner 복제 수, kubelet 경로, 드라이버별 자원 같은 값을 정했지만, 업그레이드 문서는 이제 그런 값을 ceph-csi-drivers 차트 설정에서 찾으라고 안내합니다. 이 차트에 남은 csi 는 하위 차트를 설치할지와 이미지 덮어쓰기, ServiceMonitor 정도입니다. ceph-csi-operator 하위 차트 자체의 설정은 values 의 ceph-csi-operator 절(L86)에 적습니다.

3. rook-ceph-cluster 의 바깥 값

여기부터는 844줄짜리 클러스터 차트입니다 (values.yaml). cephClusterSpec 바깥에 있는 값부터 봅니다.

4. cephClusterSpec: CephCluster 그 자체

cephClusterSpec 은 CephCluster CR 의 spec 에 그대로 들어갑니다. 클러스터 차트 문서는 이 기본값이 「예시일 뿐, 여러분의 클러스터에 맞을 가능성은 낮다」 고 적습니다.

자원 요청(resources)

cephClusterSpec.resources(L340)의 기본값입니다. Rook 문서는 「너무 낮으면 경고만 찍고 그대로 띄운다」 고 하고, 그 기준인 권장 최솟값도 적어 둡니다(CephCluster CRD). 소스로 보면 이 검사는 상한(limit) 을 기준으로 하고, 상한이 요청보다 작으면 오류로 봅니다 (spec.go#L486-L520).

OSD 의 메모리를 적으면 Rook 이 Ceph 의 osd_memory_target 을 같은 값으로 맞춘다고 문서가 적습니다. 1편에서 본 대로 이 값의 Ceph 기본이 4Gi 이므로, 차트 기본값(4Gi)은 Ceph 기본과 같습니다. MDS 와 RGW 의 자원은 여기가 아니라 각자의 절에 있습니다(5절).

5. 블록 풀, 파일시스템, 오브젝트 스토어의 기본값

클러스터 차트는 기본으로 세 가지를 하나씩 만들고 각각에 StorageClass 를 붙입니다. 이 StorageClass 는 operator 가 아니라 차트 템플릿이 만듭니다(2편 9절).

cephBlockPools: ceph-blockpool 과 StorageClass ceph-block

템플릿(cephblockpool.yaml)이 provisioner: <operatorNamespace>.rbd.csi.ceph.com 과 pool·clusterID(클러스터 네임스페이스)를 덧붙입니다.

cephFileSystems: ceph-filesystem 과 StorageClass ceph-filesystem

CephFilesystem 의 preserveFilesystemOnDelete 는 차트에 없어서 CRD 기본값 false 가 쓰입니다. CR 을 지우면 파일시스템도 함께 지워진다는 뜻입니다(CephFilesystem CRD).

cephObjectStores: ceph-objectstore 와 StorageClass ceph-bucket

멀티사이트(realm·zonegroup·zone), 오브젝트 스토어 사용자, EC 블록 풀은 values 에 주석으로만 들어 있고 기본으로는 만들지 않습니다(L743 부터).

6. 기본값 그대로 쓰면 위험한 곳

경고 1. useAllNodes: true + useAllDevices: true(L418, L419). 모든 노드의 쓸 수 있는 모든 장치가 OSD 가 되어 포맷됩니다. 2편에서 본 대로 마운트됐거나 파일시스템·OSD 서명이 있는 장치는 건너뛰지만, 아무 서명이 없는 빈 디스크는 묻지 않고 가져갑니다. 다른 용도로 막 붙인 디스크, 아직 포맷하지 않은 디스크가 그 대상입니다. CephCluster 문서는 useAllDevices 를 「장치를 지울 위험이 없는 아주 통제된 환경이 아니면 권하지 않는다」 고 적고, 운영에서는 useAllNodes: false 로 노드를 명시하라고 권합니다. 최소한 deviceFilter(예: 실습 VM 의 빈 디스크 이름만 맞는 정규식)나 노드별 devices 를 적으십시오.

경고 2. ceph-block 의 isDefault: true(L531). 설치하는 순간 ceph-block 이 쿠버네티스 전체의 기본 StorageClass 가 됩니다. 이미 다른 기본 StorageClass 가 있으면 기본이 둘이 되고, 쿠버네티스는 이때 storageClassName 없는 PVC 에 가장 최근에 만든 기본 StorageClass 를 씁니다(Kubernetes: Default StorageClass). 다른 앱의 새 PVC 가 말없이 Ceph 로 가게 됩니다. 기존 클러스터에 얹을 때는 false 로 두십시오.

경고 3. 오브젝트 스토어 데이터 풀의 EC 2+1(L674). Ceph 문서는 M=1 프로필을 「운영 데이터에는 강하게 권하지 않는다」 고 적습니다. 정비 중에 데이터를 못 쓰게 되고, 장애가 겹치면 잃습니다. 또 K+M=3 이라 host 장애 단위에서 호스트가 정확히 셋 이상 있어야 하고, 권고대로 min_size 를 K+1=3 으로 두면 호스트 하나만 내려가도 그 풀은 쓰기를 멈춥니다(실제 min_size 값은 4편에서 확인, 미실측). 운영이라면 복제 3이나 K=4, M=2 를 검토하십시오.

경고 4. 지우면 사라지는 것들. StorageClass 셋의 reclaimPolicy 가 모두 Delete 라서 PVC 를 지우면 데이터도 지워집니다. 파일시스템은 preserveFilesystemOnDelete 가 기본 false 라 CR 을 지우면 파일시스템도 지워집니다. 반대로 오브젝트 스토어는 preservePoolsOnDelete: true 라 풀이 남습니다. 셋의 기본이 서로 다르다는 점을 기억해 두십시오.

경고 5. crds.enabled(operator 차트 L21). 처음 설치할 때 정한 값을 나중에 false 로 바꾸면 클러스터가 파괴될 수 있다고 주석이 경고합니다. 같은 주석이 CRD 가 지워졌을 때를 위해 재해 복구 문서의 「삭제 뒤 CRD 복구」 절을 가리킵니다. 이 값은 설치할 때 한 번 정하고 바꾸지 마십시오.

경고 6. requireMsgr2: true 와 keyType: aes(L231, L176). msgr2 에는 커널 5.11 이상이 필요하고, 업그레이드 문서는 더 오래된 커널이면 requireMsgr2: false 로 끄라고 안내합니다. keyType: aes 는 노드 커널이 7.0 미만이면 필요하다고 주석에 적혀 있습니다. 노드의 커널 판부터 확인하십시오. mon.allowMultiplePerNode(L184)와 requireSafeReplicaSize: false(풀 CRD, size 1 허용)는 시험 환경 밖에서 켜지 않습니다.

7. 실습 클러스터에서 메모리와 CPU 를 줄일 때

TT Lab 실습 클러스터는 VM 세 대에 빈 디스크가 하나씩(17GiB) 붙은 구성입니다. 기본값으로 설치했을 때 Ceph 파드가 요청하는 자원을 values 로 계산하면 이렇습니다. 개수는 노드 셋, 디스크 셋, 기본 풀·파일시스템·오브젝트 스토어 하나씩을 가정했습니다.

CSI 파드(ctrlplugin·nodeplugin)와 ceph-csi-operator 의 요청은 그쪽 차트 기본값이라 넣지 않았습니다(미확인). 파드가 Pending 에 머물면 먼저 이 합계를 VM 의 CPU·메모리와 견줘 보십시오. 실제로 스케줄된 값은 4편에서 확인합니다.

줄일 때 건드릴 값입니다. 아래는 제안이고 이 조합으로 띄워 본 적은 없습니다(미실측).

cephClusterSpec:
  mgr:
    count: 1                # mgr 하나와 사이드카 둘이 빠진다
  dashboard:
    enabled: false
  crashCollector:
    disable: true           # cluster-test.yaml 도 끈다
  logCollector:
    enabled: false          # 데몬마다 붙는 로그 사이드카가 빠진다
  resources:
    mon:
      requests: {cpu: 250m, memory: 512Mi}
      limits: {memory: 1Gi}       # 권장 최소 1024MB 와 같다
    mgr:
      requests: {cpu: 250m, memory: 512Mi}
      limits: {memory: 512Mi}     # 권장 최소 512MB
    osd:
      requests: {cpu: 500m, memory: 2Gi}
      limits: {memory: 2Gi}       # 권장 최소 2048MB, osd_memory_target 도 2Gi 가 된다
cephFileSystems:
  - name: ceph-filesystem
    spec:
      metadataServer:
        activeCount: 1
        activeStandby: false
        resources:
          requests: {cpu: 250m, memory: 1Gi}
          limits: {memory: 1Gi}   # 권장 4096MB 보다 낮아 operator 가 경고를 찍는다
cephObjectStores:
  - name: ceph-objectstore
    spec:
      gateway:
        instances: 1
        resources:
          requests: {cpu: 250m, memory: 512Mi}
          limits: {memory: 1Gi}

리스트 값(cephFileSystems, cephObjectStores)은 Helm 이 통째로 바꿔 끼우므로, 실제 파일에는 기본값의 나머지 필드(풀, StorageClass)를 함께 적어야 합니다. 위 조각에서는 바꾸는 필드만 보이려고 줄였습니다. RWX 볼륨이나 S3 가 필요 없으면 cephFileSystems: [], cephObjectStores: [] 로 아예 빼는 것이 가장 크게 줄입니다. activeStandby: false 는 대기 MDS 를 차가운 대기로 바꿀 뿐 MDS 수(2)는 그대로입니다(2편 2절).

위 조합의 요청 합을 같은 방식으로 계산하면 메모리는 약 10.8Gi(osd 6Gi, mds 2Gi, mon 1.5Gi, mgr 512Mi, rgw 512Mi, exporter 150Mi, operator 128Mi), CPU 는 약 3.6 코어입니다. 대신 OSD 의 메모리 목표가 4Gi 에서 2Gi 로 줄어 BlueStore 캐시가 작아지고(성능 영향 미실측), MDS 는 Rook 의 권장보다 낮습니다. 성능에 미치는 영향은 측정이 끝난 뒤 따로 쓰는 성능 편에서 다룹니다.

같은 방향의 공식 예로 Rook 저장소의 deploy/examples/cluster-test.yaml이 있습니다. 자원 요청을 아예 두지 않고, mon·mgr 을 하나씩만, osd_memory_target 을 1GiB 로, 풀 크기를 1로 둔 구성입니다. 파일 머리 주석은 「노드 하나면 충분한 작은 시험 클러스터」 라고 소개합니다. 사본이 하나라 데이터 보호는 없습니다.

용량 계산

디스크 셋의 원 용량은 51GiB 입니다. Ceph 는 OSD 사용률이 mon_osd_nearfull_ratio(0.85)를 넘으면 경고하고, mon_osd_full_ratio(0.95)에 닿으면 쓰기를 막습니다(Monitor Config Reference).

모든 풀이 같은 원 용량을 나눠 쓰므로 두 줄을 더할 수 없습니다. BlueStore 와 RocksDB 의 고정 오버헤드, PG 가 고르게 퍼지지 않는 정도는 뺐습니다(미실측). 실제로 쓸 수 있는 양은 4편의 ceph df 로 확인합니다.

8. 정리

• 차트는 셋이고 순서는 rook-ceph → ceph-csi-drivers → rook-ceph-cluster 입니다. 가운데를 빠뜨리면 CSI 가 실패합니다.
• operator 차트는 짧고, 대부분 기본값으로 충분합니다. 확인할 것은 crds.enabled, monitoring.enabled, OBC 필드 허용 정도입니다.
• 클러스터 차트의 기본값은 「예시」 입니다. 적어도 storage(어떤 디스크를 쓸지), isDefault, 오브젝트 데이터 풀의 EC 프로필, 자원 요청은 직접 정하십시오.

티티 한마디. values.yaml 은 「기본으로 이렇게 해 둘게요」 라는 편지예요. 그런데 이 편지에는 「빈 디스크는 다 쓸게요」, 「제가 기본 StorageClass 할게요」 같은 꽤 대담한 문장이 섞여 있어요. 설치 버튼을 누르기 전에 그 몇 줄만은 꼭 다시 읽어 주세요!

참고

values 와 문서는 모두 2026-10-29 에 위 커밋에서 열람했습니다.

• rook-ceph values.yaml: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/deploy/charts/rook-ceph/values.yaml
• rook-ceph-cluster values.yaml: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/deploy/charts/rook-ceph-cluster/values.yaml
• Rook 이 맞춘 ceph-csi-drivers values: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/deploy/charts/ceph-csi-drivers/values.yaml
• Helm Charts Overview, Operator 차트, Cluster 차트, CSI 드라이버 차트 문서: https://github.com/rook/rook/tree/09d2f0d8d883b70b30de796c4390371be725ff3b/Documentation/Helm-Charts
• CephCluster CRD: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/Documentation/CRDs/Cluster/ceph-cluster-crd.md
• CephBlockPool CRD: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/Documentation/CRDs/Block-Storage/ceph-block-pool-crd.md
• CephFilesystem CRD: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/Documentation/CRDs/Shared-Filesystem/ceph-filesystem-crd.md
• CephObjectStore CRD: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/Documentation/CRDs/Object-Storage/ceph-object-store-crd.md
• cluster-test.yaml: https://github.com/rook/rook/blob/09d2f0d8d883b70b30de796c4390371be725ff3b/deploy/examples/cluster-test.yaml
• Ceph Erasure Code: https://docs.ceph.com/en/tentacle/rados/operations/erasure-code/
• Ceph Monitor Config Reference: https://docs.ceph.com/en/tentacle/rados/configuration/mon-config-ref/
• Kubernetes Storage Classes: https://kubernetes.io/docs/concepts/storage/storage-classes/