논문 읽기17 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING 논문 제목 : DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING논문 링크 : https://arxiv.org/abs/1510.00149 이번에 읽을 논문은 Deep Compression으로, SqueezeNet에도 자주 등장하는 중요한 녀석이다.이 논문을 먼저 읽었어야 하는데.. 그 와중에 또 참여하신 Song Han 교수님.. 역시 TinyML 대가 다우시다.[후기]CSR 기법, Codebook을 쓴다는 발상이 획기적이다. 특히 Codebook method는 여러 압축에서 쓰일 수 있을 것 같다.1. Introduction로컬 기기에서 딥러닝 모델이 돌아간다면 pri.. 2024. 11. 8. [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 논문 제목 : [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND 논문 링크 : https://arxiv.org/abs/1602.07360 이번에 읽을 논문은 TinyML의 시조격인 SqueezeNet이다.기존 AlexNet을 대폭 축소한 모델을 발표해서 경량화의 중요성을 보여준다.[후기]SqueezeNet + Simple Bypass + Deep Compression까지 했다면 가볍고 더 정확도 높은 모델을 만들었을텐데 아쉽게도 그런 언급은 없다.Squeeze Layer 발상 자체가 신박하다.1. Introduction And Motivation작은 모델은 통신 오버헤드(연산에 필요한 시간, 메모리 등)가 작아 효율적 학습이 가능새로운 모.. 2024. 11. 4. Very Deep Convolutional Networks For Large-Scale Image Recognition(VGGNet) 논문 제목 : Very Deep Convolutional Networks For Large-Scale Image Recognition논문 링크 : https://arxiv.org/pdf/1409.1556.pdf이번에 리뷰할 논문은 VGGNet이다.원래 AlexNet-VGGNet-GoogLeNet.. 등의 순으로 소개했어야 하는데아무래도 구조가 간단해서 미루고 미루다보니 이제 한다.사실 구조만 보면 단순하기도 하고, ILSVRC 2등이라 크게 매력적이지 않을 수 있다.하지만 단순하기에 여러 model들의 BackBone으로 자주 쓰이고,당시 1등인 GoogLeNet보다 훨씬 간단한데 어떻게 저런 좋은 성적을 냈는지 살펴봐야 한다.그래서 이 논문을 리뷰하게 되었다.간략하게 핵심 위주로 살펴보자.Abstrac.. 2024. 11. 2. Identity Mappings in Deep Residual Networks(Pre-activation ResNet) 논문 제목 : Identity Mappings in Deep Residual Networks논문 링크 : https://arxiv.org/pdf/1603.05027.pdf이번 논문은 Pre-activation ResNet이다.지난 논문(WRNs)을 읽으며 Pre-activation을 무진장 많이 언급하길래,대체 뭘 했길래 이 논문에서는 저녀석의 성능을 뛰어넘을려고 애를 쓸까 하는 생각이 들었다.논문 공부법 - "참고 문헌을 따라간다"에 입각하여 이 논문도 읽게 되었다.후기 :중간 실험에서 conv3x3->conv3x3 2개 로 좁혀나가는 과정이 마음에 들었다.Gating은 죄다 실패한게 좀 웃프긴 했다.Pre-activation이 성공한 이유가 직관적으로 이해가 되니 되게 신기했다.아.. 이래서 되는구나.. 2024. 11. 2. 이전 1 2 3 4 5 다음
