체크포인트 저장용량 계산기

체크포인트 저장용량 계산기 사용법

이 계산기는 모델의 파라미터 수, 파라미터 하나를 저장하는 데 필요한 정밀도, 옵티마이저 상태 배수를 이용해 체크포인트 용량을 추정합니다. 모델 배포나 학습 환경을 구성할 때 디스크 용량과 네트워크 전송 용량을 미리 가늠하는 데 활용할 수 있어요.

옵티마이저 상태 배수에 0을 입력하면 가중치만 저장하는 경우를 계산합니다. Adam 계열 옵티마이저처럼 추가 상태를 함께 저장하는 경우에는 해당 상태가 가중치 용량의 몇 배인지 입력하세요.

계산 방법

먼저 파라미터 수에 정밀도별 바이트 수를 곱해 가중치 저장용량을 계산합니다. 그다음 옵티마이저 상태 용량을 더해 전체 체크포인트 크기를 구합니다.

예를 들어 7B 모델을 16bit로 저장하면 가중치 용량은 7 × 16 ÷ 8 = 14GB입니다. 옵티마이저 상태 배수가 1.5라면 추가 용량은 14 × 1.5 = 21GB이고, 전체 체크포인트는 14 + 21 = 35GB가 됩니다.

계산 예시

• 상황 1: 7B 모델, 16bit 정밀도, 옵티마이저 상태 배수 1.5배라면 가중치 14GB와 옵티마이저 상태 21GB를 합쳐 약 35GB입니다.
• 상황 2: 13B 모델, 8bit 정밀도, 옵티마이저 상태 배수 0.5배라면 가중치 13GB와 추가 상태 6.5GB를 합쳐 약 19.5GB입니다.
• 상황 3: 70B 모델을 4bit로 양자화하고 가중치만 저장하면 70 × 4 ÷ 8 = 35GB로 추정됩니다.

사용 시 주의사항 및 활용 팁

• 본 계산기 결과는 단순 추정 참고용 수치입니다.
• 계산 결과는 1B 파라미터를 1GB로 환산한 십진 단위 기준입니다.
• 실제 체크포인트에는 메타데이터, 임베딩, 헤더, 샤딩 파일, 파일시스템 오버헤드가 포함될 수 있습니다.
• 학습 중에는 체크포인트 외에도 데이터셋 캐시, 로그, 임시 파일, 다른 버전의 체크포인트를 위한 여유 공간이 필요합니다.
• 여러 GPU나 노드에 체크포인트를 분할 저장한다면 전체 용량뿐 아니라 각 샤드의 크기와 전송 시간을 함께 확인하세요.