분류 전체보기18 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING 논문 제목 : DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING논문 링크 : https://arxiv.org/abs/1510.00149 이번에 읽을 논문은 Deep Compression으로, SqueezeNet에도 자주 등장하는 중요한 녀석이다.이 논문을 먼저 읽었어야 하는데.. 그 와중에 또 참여하신 Song Han 교수님.. 역시 TinyML 대가 다우시다.[후기]CSR 기법, Codebook을 쓴다는 발상이 획기적이다. 특히 Codebook method는 여러 압축에서 쓰일 수 있을 것 같다.1. Introduction로컬 기기에서 딥러닝 모델이 돌아간다면 pri.. 2024. 11. 8. [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 논문 제목 : [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND 논문 링크 : https://arxiv.org/abs/1602.07360 이번에 읽을 논문은 TinyML의 시조격인 SqueezeNet이다.기존 AlexNet을 대폭 축소한 모델을 발표해서 경량화의 중요성을 보여준다.[후기]SqueezeNet + Simple Bypass + Deep Compression까지 했다면 가볍고 더 정확도 높은 모델을 만들었을텐데 아쉽게도 그런 언급은 없다.Squeeze Layer 발상 자체가 신박하다.1. Introduction And Motivation작은 모델은 통신 오버헤드(연산에 필요한 시간, 메모리 등)가 작아 효율적 학습이 가능새로운 모.. 2024. 11. 4. Pruning Neural Network를 빠르고 가볍게 만드는 방법 중 하나는 Pruning(가지치기)이다.Pruning이란 쉽게 말해서 node들을 가지치기하듯 잘라내서 가볍게 만들면서, 정확도 감소는 적게 만드는 기법이다.본 강의에서는 그러한 기법들의 장,단점과 사용법에 대해서 알려준다.Pruning 분류먼저 Pruning을 크게 분류해보자면 아래와 같이 분류할 수 있다.좌측으로 갈수록 불규칙하고, 우측으로 갈수록 규칙적이다.불규칙의 장점은 압축율이 높다는 점, 그리고 redundant weight들을 찾기가 쉽다는 점이다.단점이라면 저렇게 무작위로 되어있으므로 weight 크기 자체를 압축하기가 어렵다.규칙의 장점은 즉각적으로 속도를 높일 수 있다는 점이다.단순히 pruning해서도 그렇지만, 불필요한 weig.. 2024. 11. 3. Very Deep Convolutional Networks For Large-Scale Image Recognition(VGGNet) 논문 제목 : Very Deep Convolutional Networks For Large-Scale Image Recognition논문 링크 : https://arxiv.org/pdf/1409.1556.pdf이번에 리뷰할 논문은 VGGNet이다.원래 AlexNet-VGGNet-GoogLeNet.. 등의 순으로 소개했어야 하는데아무래도 구조가 간단해서 미루고 미루다보니 이제 한다.사실 구조만 보면 단순하기도 하고, ILSVRC 2등이라 크게 매력적이지 않을 수 있다.하지만 단순하기에 여러 model들의 BackBone으로 자주 쓰이고,당시 1등인 GoogLeNet보다 훨씬 간단한데 어떻게 저런 좋은 성적을 냈는지 살펴봐야 한다.그래서 이 논문을 리뷰하게 되었다.간략하게 핵심 위주로 살펴보자.Abstrac.. 2024. 11. 2. 이전 1 2 3 4 5 다음
