백업 성능은 데이터 보호의 가장 중요한 요소 중 하나로 간주됩니다. 1,500명의 IT 의사결정자를 대상으로 Synology가 실시한 설문 조사에서 응답자의 절반 이상이 백업 속도를 주요 과제 중 하나로 꼽았습니다. 느린 백업은 조직의 생산 프로세스를 중단시킬 수 있습니다. 그리고 백업 작업이 지정된 시간 프레임을 초과하면 무기한으로 지연되어 중요한 워크로드가 보호되지 않을 가능성이 있습니다.
Synology 시스템에 저장된 데이터를 보호하는 필수 서비스인 Hyper Backup은 출시 이후 증분 백업 모드를 지원하여 백업 작업에 필요한 시간을 줄였습니다. 그럼에도 불구하고 기업이 기하급수적으로 데이터를 축적함에 따라 더 빠른 백업에 대한 요구가 급증했습니다. 이러한 추세를 인식하여 Hyper Backup의 디자인을 재검토하고 DSM 7.0에서 Hyper Backup의 성능을 높이기 위한 일련의 개선 사항을 도입했습니다.
백업 속도를 가속화한다는 목표를 달성하기 위해 Hyper Backup의 작업 실행 프로세스를 6단계로 철저히 분석했습니다.
- 백업 작업 시작
- 파일 메타데이터 수집
- 백업 콘텐츠 분석 및 시작
- 중복제거
- 백업 파일 조립
- 백업 데이터 처리
각 단계에서 perf, ebpf, iperf와 같은 도구를 사용하여 CPU 측면(예: CPU 사용률, 메모리)과 CPU 외 요소(예: 디스크 I/O, 시스템 호출)를 분석했습니다. 연구 결과에 따르면 두 가지 메커니즘을 개선하면 Hyper Backup 성능을 크게 높일 수 있으며, 특히 방대한 양의 데이터가 포함된 시나리오에서 그렇습니다.
향상된 병렬 처리
첫째, 백업 작업 내에서 병렬 워크플로를 미세 조정했습니다. 각 백업 서비스에서 "공급자"는 작업을 생성하는 반면 "소비자"는 작업을 실행합니다. 예를 들어, 공급자는 백업해야 할 파일을 식별한 다음 소비자가 읽기/쓰기 작업을 실행할 수 있습니다. 백업 임무 전반에 걸쳐 소비자와 공급자의 균형 잡힌 로딩 및 대기 시간이 핵심임이 입증되었습니다. 작업 분배 및 CPU/메모리 리소스 할당과 같은 요인이 이러한 균형에 영향을 미칩니다.
사실, 소프트웨어 개발에서 작업과 리소스 할당의 균형을 맞추는 것은 지속적인 프로세스입니다. 철저한 재평가 및 구조 조정 후, DSM 7.0에서 리소스 충돌을 피하기 위해 백업 작업을 모듈화했습니다. 이러한 개선을 통해 각 백업 프로세스 세그먼트의 원활한 동시 처리가 가능해져 병목 현상이 완화되고 증분 백업 효율성이 30%나 향상되었습니다.
개편된 메타데이터 수집 프로세스
다음으로, 우리는 메타데이터 수집을 통합하고 간소화했습니다. 백업하는 동안 증분 백업과 중복 제거를 위해 방대한 메타데이터가 필요합니다. 이전에는 여러 절차에 분산되어 있던 이러한 메타데이터 수집 프로세스가 백업 속도를 방해했습니다. 이를 해결하기 위해 우리는 모든 프로세스에서 메타데이터 요청을 면밀히 조사하고 중복을 제거했으며 메타데이터 수집 프로세스를 간소화했습니다.
또한, 우리는 하드 디스크의 I/O 부담을 덜어주기 위해 메모리 캐시 메커니즘과 중앙화된 메타데이터 검색을 도입했습니다. 이를 통해 증분 백업 및 중복 제거 작업의 속도가 빨라집니다.
이러한 개선을 통해 Hyper Backup의 성능이 상당히 개선되었습니다. 18TB에 달하는 1,000만 개의 파일 데이터 세트를 사용하여 5% 파일 변경률을 적용한 랩 테스트에서 새로운 Hyper Backup 버전은 이전 릴리스에 비해 95%의 놀라운 개선을 보였습니다. 이 효과는 100만 개가 넘는 파일을 처리하는 시나리오에서 두드러지게 나타납니다. 따라서 대량의 데이터를 보유한 기업에서는 DSM과 Hyper Backup을 최신 버전으로 업그레이드하는 것이 좋습니다.
앞으로 백업 작업 실행 중에 파일의 변경 사항을 보다 빠르고 정확하게 식별하는 방법을 계속 탐색하고, 1억 개가 넘는 파일 변경이 있는 극단적인 사례나 비정상적인 정전과 같은 예상치 못한 사건과 같은 더욱 까다로운 과제를 충족할 것입니다. 제품 성능 최적화는 지속적인 노력이며, Synology는 지속적으로 더 나은 사용자 경험을 제공하기 위해 최선을 다하고 있습니다.
