논문 읽기/TinyML2 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING 논문 제목 : DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING논문 링크 : https://arxiv.org/abs/1510.00149 이번에 읽을 논문은 Deep Compression으로, SqueezeNet에도 자주 등장하는 중요한 녀석이다.이 논문을 먼저 읽었어야 하는데.. 그 와중에 또 참여하신 Song Han 교수님.. 역시 TinyML 대가 다우시다.[후기]CSR 기법, Codebook을 쓴다는 발상이 획기적이다. 특히 Codebook method는 여러 압축에서 쓰일 수 있을 것 같다.1. Introduction로컬 기기에서 딥러닝 모델이 돌아간다면 pri.. 2024. 11. 8. [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 논문 제목 : [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND 논문 링크 : https://arxiv.org/abs/1602.07360 이번에 읽을 논문은 TinyML의 시조격인 SqueezeNet이다.기존 AlexNet을 대폭 축소한 모델을 발표해서 경량화의 중요성을 보여준다.[후기]SqueezeNet + Simple Bypass + Deep Compression까지 했다면 가볍고 더 정확도 높은 모델을 만들었을텐데 아쉽게도 그런 언급은 없다.Squeeze Layer 발상 자체가 신박하다.1. Introduction And Motivation작은 모델은 통신 오버헤드(연산에 필요한 시간, 메모리 등)가 작아 효율적 학습이 가능새로운 모.. 2024. 11. 4. 이전 1 다음
