RAG 청크 개수 계산기

RAG 청크 개수 계산기 사용법

RAG 시스템에서 문서를 임베딩하기 전에는 긴 문서를 검색하기 적절한 크기로 나누는 청킹 과정이 필요합니다. 문서 전체 토큰 수와 청크 크기, 청크 사이에 반복해서 포함할 오버랩 토큰 수를 입력하면 예상되는 청크 개수를 확인할 수 있습니다.

문서가 청크 크기보다 짧거나 같으면 청크 하나로 처리됩니다. 문서가 더 길면 청크가 이동하는 폭인 $\text{청크 크기} - \text{오버랩}$을 기준으로 마지막 청크까지 계산합니다.

계산 방법

문서 토큰 수를 $D$, 청크 크기를 $C$, 오버랩을 $O$라고 하면 청크 이동 폭은 $C - O$입니다. 문서가 하나의 청크에 들어가지 않는 경우 청크 개수는 다음과 같이 계산합니다.

문서 토큰 수가 청크 크기 이하이면 결과는 항상 1개입니다. 오버랩은 반드시 청크 크기보다 작아야 청크가 다음 위치로 이동할 수 있습니다.

계산 예시

• 상황 1: 문서 토큰 1,000개, 청크 크기 500토큰, 오버랩 50토큰이면 이동 폭은 450토큰입니다. 올림((1,000 - 50) / 450) = 올림(2.11) = 3이므로 청크 3개가 생성됩니다.
• 상황 2: 문서 토큰 500개, 청크 크기 500토큰, 오버랩 50토큰이면 문서가 하나의 청크에 들어가므로 청크 1개가 생성됩니다.

사용 시 주의사항 및 활용 팁

• 본 계산기 결과는 문서 토큰 수를 기준으로 한 단순 추정 참고용 수치입니다.
• 한글과 영어, 코드, 특수문자는 토크나이저에 따라 토큰화 결과가 달라질 수 있습니다.
• 청크 크기가 너무 작으면 검색 단위가 세밀해지지만 저장 공간과 임베딩 비용이 증가할 수 있습니다.
• 오버랩이 너무 크면 문맥 보존에는 도움이 되지만 동일한 내용이 반복되어 색인 크기가 커질 수 있습니다.
• 실무에서는 사용하는 임베딩 모델의 토큰 제한, 문장 단위 분할, 메타데이터 포함 여부를 함께 확인하세요.