[연구자명]

1. 김준석, 권도원, 강석형(지도교수)
2. 
   

[연구제목]

1. DPSQ: Dynamic Partial Sum Quantization with Mixed Granularity
2. 
   
3. [연구내용 요약]
4. Transformer accelerator의 Input/Weight Stationary dataflow에서 발생하는 대규모 Partial Sum(PSUM) off-chip memory traffic을 감소시키기 위한 dynamic quantization 방법을 제안하였다. PSUM의 sparse outlier 특성을 분석하여 outlier vector에만 fine-grained dynamic quantization을 적용하고 나머지 vector는 scale을 공유하는 mixed-granularity DPSQ를 통해 정확도와 하드웨어 효율을 동시에 확보하였다.
5. 
   

[성과와 관련된 이미지 및 설명]

Mixed-granularity Dynamic PSUM Quantization. PSUM 내 일부 outlier vector에 대해서만 독립적인 quantization scale을 사용하고, 일반 vector들은 하나의 scale을 공유하여 dynamic quantization의 연산 오버헤드를 감소시킴.

[연구결과의 진행상태 및 향후 계획]

BERT, LLaMA 및 Vision Transformer를 대상으로 software evaluation을 수행하고, ZCU104 FPGA에서 DPSQ accelerator를 구현하였다. Mixed DPSQ는 unquantized fused OS–IS 대비 50.4%의 에너지 절감을 달성하였으며, FPGA에서 0.952 ms latency를 기록하여 기존 outlier-aware 방법 대비 latency 및 area-time product를 개선하였다. 향후 end-to-end Transformer accelerator와의 통합 및 저비트 PSUM quantization으로 확장할 예정이다.

[성과]

32^nd Asia and South Pacific Design Automation Conference (APS-DAC 2027)