왜 이 논문이 필요한가?#

클라우드 데이터센터에서는 서비스 안정성을 보장하기 위해 실제 필요량보다 많은 자원을 미리 할당하는 over-provisioning이 흔합니다. 논문은 이 때문에 글로벌 데이터센터의 평균 CPU utilization이 약 15–20% 수준에 머문다고 설명합니다.

이를 개선하는 대표적인 방법이 Resource Consolidation입니다.

여러 VM을 가능한 한 적은 수의 Physical Machine(PM)에 배치해 서버 활용률을 높이는 것

하지만 현재 사용량만 보고 VM을 밀집 배치하면 workload spike가 발생했을 때 PM의 용량을 초과할 수 있습니다. 그래서 미래 수요를 먼저 예측하고 그 결과를 바탕으로 VM 배치를 최적화하는 Forecast-then-Optimize 구조가 사용됩니다.

1
과거 Workload
2
  ↓
3
Time Series Forecasting
4
  ↓
5
미래 Resource Demand 예측
6
  ↓
7
Optimization
8
  ↓
9
VM Placement / Consolidation

기존 benchmark는 대개 Forecasting 단계의 MAE, MASE 같은 예측 오차까지만 평가했습니다. CloudCons는 한 단계 더 나아가 그 예측으로 실제 배치를 결정했을 때 자원 효율성과 서비스 안정성이 어떻게 변하는지까지 측정합니다.

CloudCons Benchmark#

CloudCons는 세 cloud platform의 실제 workload를 정제해 사용합니다.

이 구성이 중요한 이유는 모델이 한 종류의 데이터에서만 잘 맞는지를 보는 것이 아니라, 서로 다른 workload 특성에서도 안정적으로 동작하는지 확인할 수 있기 때문입니다.

어떤 모델을 비교했나?#

RQ1 — Foundation Model은 Forecasting을 잘하는가?#

결론부터 말하면 그렇습니다.

Huawei2025에서 Chronos 2는 MASE 0.752를 기록해 비교 대상 가운데 가장 좋은 수준의 성능을 보였습니다.

Azure2019에서도 Chronos 2는 MASE 0.690, TimesFM 2.5는 0.700을 기록했습니다.

TIP

Foundation Model의 zero-shot generalization은 cloud workload에서도 강력했습니다. 처음 보는 workload를 별도 학습 없이 예측했는데도 dataset별로 학습한 deep learning model과 경쟁하거나 능가했습니다.

RQ2 — Forecasting을 잘하면 Resource Consolidation도 잘할까?#

이 논문의 가장 중요한 결론은 그렇지 않을 수 있다는 것입니다.

Forecasting accuracy와 decision utility 사이에는 misalignment가 존재합니다.

Resource Consolidation에서는 전체 시점의 평균 오차보다 peak를 놓치지 않는 것이 더 중요할 수 있습니다.

예를 들어 실제 workload와 두 예측이 다음과 같다고 해보겠습니다.

1
실제:          20  20  20  20  90
2
Prediction A:  20  20  20  20  50
3
Prediction B:  25  25  25  25  95

평상시 오차만 보면 A가 좋아 보일 수 있습니다. 하지만 scheduler 관점에서는 90까지 올라갈 부하를 50으로 예상한 A가 훨씬 위험합니다. 여러 VM을 같은 PM에 배치한 뒤 실제 합산 사용량이 capacity를 넘을 수 있기 때문입니다.

1
PM Capacity = 100
2
VM A 실제 사용량 50
3
VM B 실제 사용량 40
4
VM C 실제 사용량 20
5
---
6
Actual Total = 110
7
→ Capacity Violation

WARNING

Lower Forecast Error ≠ Better Decision

평균적인 예측 정확도가 좋아도 운영상 중요한 peak를 과소예측하면 더 나쁜 배치 결정을 만들 수 있습니다.

Figure 6 사례 — 왜 Service Violation이 발생했나?#

Appendix의 Figure 6은 이 misalignment를 가장 직관적으로 보여줍니다.

Borg2019-e의 한 사례에서 optimizer는 Moirai 2의 예측을 바탕으로 5개 VM을 하나의 PM에 배치했습니다. 그러나 Moirai 2와 Sundial은 실제 aggregated demand peak를 크게 과소예측했습니다. optimizer는 안전한 배치라고 판단했지만 실제 workload는 PM capacity를 넘어섰습니다.

반면 DeepAR은 전체 forecasting error는 더 컸지만 고부하 구간을 더 보수적으로 예측했습니다. 이 예측을 사용했다면 위험한 consolidation을 사전에 거부할 수 있었습니다.

즉 모델 선택 기준은 다음 질문까지 포함해야 합니다.

이 모델이 평균적으로 얼마나 잘 맞는가가 아니라, 잘못 예측했을 때 downstream system에 어떤 비용이 발생하는가?

무엇을 평가해야 할까?#

CloudCons는 prediction metric과 consolidation metric을 함께 사용합니다.

CloudCons의 차별점은 얼마나 잘 맞췄는가와 그 예측으로 운영했을 때 안전한가를 분리해 측정한다는 데 있습니다.

Optimization Algorithm도 결과를 바꾼다#

예측 이후에는 VM placement를 결정해야 합니다. 논문은 다음 네 방법을 비교합니다.

• FFD — First Fit Decreasing
• BFD — Best Fit Decreasing
• ACO — Ant Colony Optimization
• Gurobi MILP

Gurobi는 가능한 한 적은 PM에 VM을 packing해 utilization을 높일 수 있습니다. 하지만 배치가 촘촘할수록 남는 buffer가 작아져 예측보다 workload가 조금만 증가해도 violation이 발생하기 쉽습니다.

반대로 BFD 같은 heuristic에서 발생하는 fragmentation은 비효율처럼 보이지만, 실제로는 implicit safety margin 역할을 할 수 있습니다.

TIP

최적화 문제의 목적함수를 완벽히 푸는 것과 실제 시스템에서 가장 좋은 결과를 얻는 것은 같은 문제가 아닐 수 있습니다. 예측 불확실성을 목적함수와 제약조건에 어떻게 반영하는지가 중요합니다.

Quantile은 효율과 안정성을 조절하는 손잡이다#

Probabilistic forecasting model은 하나의 값 대신 여러 quantile을 출력할 수 있습니다.

1
P50 → 공격적인 배치
2
  → 높은 utilization
3
  → 높은 violation risk
4
P80 / P90 → 보수적인 배치
5
  → 낮은 utilization
6
  → 높은 reliability

논문의 Figure 5에서는 quantile이 높아질수록 Util과 VR이 함께 감소하는 패턴을 보여줍니다. 더 높은 수요를 가정해 배치하므로 서버 활용률은 낮아지지만 capacity violation도 줄어듭니다.

Fine-tuning을 하면 의사결정도 좋아질까?#

Appendix의 추가 실험은 더 흥미로운 결과를 보여줍니다. 대표 Foundation Model을 fine-tuning하면 대체로 MASE와 CRPS는 개선됩니다. 그러나 downstream utility가 항상 좋아지는 것은 아닙니다.

예를 들어 Azure2019에서 TOTO는 fine-tuning 후 MASE와 CRPS가 개선됐지만 violation rate는 0.122에서 0.150으로 악화됐습니다. Huawei2025의 Chronos 2에서도 예측 정확도 개선과 달리 VR은 0.183에서 0.186으로 소폭 나빠졌습니다.

WARNING

Fine-tuning으로 prediction metric을 개선했다고 배포 준비가 끝난 것은 아닙니다. 반드시 downstream objective를 다시 평가해야 합니다.

이 논문에서 가장 흥미로운 점#

일반적인 forecasting benchmark의 논리는 다음과 같습니다.

1
MAE ↓
2
MSE ↓
3
MASE ↓
4
CRPS ↓
5
→ 좋은 모델

CloudCons는 한 단계 더 질문합니다.

그래서 그 예측을 실제 시스템에 사용하면 더 좋은 결정을 내릴 수 있는가?

실험의 답은 반드시 그렇지는 않다였습니다.

이 메시지는 Cloud Resource Management뿐 아니라 예측을 사용하는 다양한 시스템에 적용됩니다.

각 문제에서 prediction metric과 downstream objective가 정말 정렬되어 있는지 따로 확인해야 합니다. 특히 과소예측과 과대예측의 비용이 비대칭적이라면 평균 오차 하나로 모델을 선택하는 것은 위험합니다.

장점과 한계#

마무리#

CloudCons가 던지는 메시지는 명확합니다.

좋은 forecasting model과 좋은 decision-making system은 같은 것이 아닙니다.

Chronos 2와 TimesFM 2.5 같은 Foundation Model은 zero-shot forecasting에서 강력한 성능을 보여줍니다. 하지만 Resource Consolidation처럼 peak prediction과 risk가 중요한 downstream task에서는 평균적인 prediction accuracy만으로 모델을 평가해서는 부족합니다.

결국 production 환경에서는 다음 세 가지를 함께 봐야 합니다.

1
Forecast Accuracy
2
  -
3
Decision Utility
4
  -
5
Uncertainty Calibration

CloudCons는 이 세 요소를 하나의 benchmark 안에서 연결했다는 점에서 의미가 있습니다. 모델의 예측 점수가 좋아졌을 때 우리가 정말 확인해야 할 것은 숫자 하나가 아니라, 그 예측이 실제 시스템의 결정을 어떻게 바꾸는가입니다.

참고 자료#

• CloudCons 논문 — ACM Digital Library
• CloudCons 공식 GitHub 저장소
• KDD 2026 Proceedings

이 글은 KDD 2026에 게재된 CloudCons 논문을 기준으로 정리했습니다.