LoRA 어댑터 파라미터 계산기

LoRA 어댑터 파라미터 계산기 사용법

LoRA 어댑터를 적용할 대상 레이어의 입력 차원과 출력 차원, LoRA rank, 적용할 모듈 수를 입력하세요. 계산 결과는 원래 모델 가중치를 모두 학습하는 대신 추가로 학습해야 하는 파라미터의 개수를 보여줍니다.

입력 차원과 출력 차원은 대상 선형 레이어의 크기를 의미합니다. 적용 모듈 수에는 LoRA를 삽입할 어텐션 또는 피드포워드 레이어의 개수를 입력하면 됩니다.

계산 방법

LoRA는 원래의 큰 가중치 행렬을 직접 수정하지 않고, 두 개의 저랭크 행렬로 업데이트를 표현합니다. 입력 차원이 입력 차원, 출력 차원이 출력 차원, rank가 저랭크 차원일 때 모듈당 추가 파라미터는 다음과 같이 계산합니다.

여러 모듈에 LoRA를 적용하면 전체 추가 파라미터는 모듈당 파라미터에 적용 모듈 수를 곱합니다.

계산 예시

• 일반적인 Transformer 설정: 입력 차원 768, 출력 차원 768, rank 8, 모듈 12개라면 모듈당 12,288개, 전체 147,456개의 파라미터가 추가됩니다.
• 큰 은닉 차원 모델: 입력 차원 4,096, 출력 차원 4,096, rank 16, 모듈 32개라면 모듈당 131,072개, 전체 4,194,304개의 파라미터가 추가됩니다.

사용 시 주의사항 및 활용 팁

• 본 계산기 결과는 LoRA의 두 저랭크 행렬만 포함한 단순 추정 참고용 수치입니다.
• 실제 구현에서는 모듈 구성에 따라 편향, 스케일링 파라미터, 추가 학습 파라미터가 포함될 수 있습니다.
• rank를 높이면 표현력과 추가 파라미터 수가 함께 증가하므로, 메모리 사용량과 성능 사이의 균형을 확인하세요.
• 대상 레이어의 입력 차원과 출력 차원이 서로 다른 경우에는 각각 실제 레이어 설정값을 입력해야 합니다.