AI study with me

이번에는 Quantization에서 QAT에 대해 집중적으로 공부를 해보려고 한다. 여기서는 PTQ로 해결되지 않았던 문제를 해결하는 QAT의 개념을 보여줌! 여기서 알아야 할 건 훈련하는 방식이 달라진다는 점임!! 1. QAT의 정의 : 미리 매를 맞아보자● 기존 : 훈련을 다 끝내고 나서(floating-point), 나중에 양자화를 함● QAT : 훈련(fine-tuning) 도중에 양자화를 적용해 봄!- 너 나중에 4비트로 잘릴 거야. 그러니까 지금 훈련할 때부터 4비트 상태에 적응해라고 모델을 가르치는 것임!!- 특히 4비트 이하의 공격적인 양자화를 할 때 필수적임!! 2. 그림 해석 : 끼리끼리 묶어서 업데이트한다!그림은 학습 시 가중치가 어떻게 업데이트되는지를 보여줌(k-means 기반의 예..

이제는 PTQ에 대해 좀 더 깊이 있게 공부를 해보려고 한다.여기는 가중치가 아닌 활성화 값(activation, 레이어의 출력값)을 양자화할 때 겪는 근본적인 어려움과 해결책을 설명함! 여기서 알아야 할 핵심은 변동성(variation)임!! 1. 가중치와의 결정적 차이● 가중치 : 학습이 끝나면 고정된 값임. 변하지 않으므로 최대값/최소값을 한 번만 계산해서 스케일을 정하면 끝임!!● 활성화 값 : 입력되는 이미지(강아지, 고양이, 자동차 등)에 따라 매번 값이 달라짐!!min, rmax)를 미리 확정 짓기가 어려움">- 어떤 사진이 들어올지 모르니, 값의 범위(rmin, rmax)를 미리 확정 짓기가 어려움 2. 해결책 : 미리 좀 훑어보자!(calibration)입력마다 범위가 들쑥날쑥하기 때문에..

이번에는 quantization-II에 대해 좀 더 깊이 있게 공부를 해보려고 한다. 1. 선형 양자화 복습● 핵심 : 저번에 공부한 r = S(q-Z) 공식을 완벽하게 이해하고 있어야 함!!● 체크 포인트 :- Floating-point(실수)를 integer(정수)로 매핑할 때 Scale과 Zero-point가 어떤 역할을 하는지!!- 이 기본기가 흔들리면 뒤에 나오는 고급 기법들이 이해가 잘 안 됨!!! 2. Post-training Quantization(PTQ, 학습 후 양자화)--중요함!!● 핵심 : 모델을 재학습없이 바로 양자화하는 기법임!! 가장 빠르고 간편해서 현업에서 1순위로 고려됨!!● 꼭 알아야 할 것(Granularity & Clipping)- per-tensor vs per-ch..