전체 글18 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING 논문 제목 : DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING논문 링크 : https://arxiv.org/abs/1510.00149 이번에 읽을 논문은 Deep Compression으로, SqueezeNet에도 자주 등장하는 중요한 녀석이다.이 논문을 먼저 읽었어야 하는데.. 그 와중에 또 참여하신 Song Han 교수님.. 역시 TinyML 대가 다우시다.[후기]CSR 기법, Codebook을 쓴다는 발상이 획기적이다. 특히 Codebook method는 여러 압축에서 쓰일 수 있을 것 같다.1. Introduction로컬 기기에서 딥러닝 모델이 돌아간다면 pri.. 2024. 11. 8. [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 논문 제목 : [SQUEEZENET] ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND 논문 링크 : https://arxiv.org/abs/1602.07360 이번에 읽을 논문은 TinyML의 시조격인 SqueezeNet이다.기존 AlexNet을 대폭 축소한 모델을 발표해서 경량화의 중요성을 보여준다.[후기]SqueezeNet + Simple Bypass + Deep Compression까지 했다면 가볍고 더 정확도 높은 모델을 만들었을텐데 아쉽게도 그런 언급은 없다.Squeeze Layer 발상 자체가 신박하다.1. Introduction And Motivation작은 모델은 통신 오버헤드(연산에 필요한 시간, 메모리 등)가 작아 효율적 학습이 가능새로운 모.. 2024. 11. 4. Pruning Neural Network를 빠르고 가볍게 만드는 방법 중 하나는 Pruning(가지치기)이다.Pruning이란 쉽게 말해서 node들을 가지치기하듯 잘라내서 가볍게 만들면서, 정확도 감소는 적게 만드는 기법이다.본 강의에서는 그러한 기법들의 장,단점과 사용법에 대해서 알려준다.Pruning 분류먼저 Pruning을 크게 분류해보자면 아래와 같이 분류할 수 있다.좌측으로 갈수록 불규칙하고, 우측으로 갈수록 규칙적이다.불규칙의 장점은 압축율이 높다는 점, 그리고 redundant weight들을 찾기가 쉽다는 점이다.단점이라면 저렇게 무작위로 되어있으므로 weight 크기 자체를 압축하기가 어렵다.규칙의 장점은 즉각적으로 속도를 높일 수 있다는 점이다.단순히 pruning해서도 그렇지만, 불필요한 weig.. 2024. 11. 3. Very Deep Convolutional Networks For Large-Scale Image Recognition(VGGNet) 논문 제목 : Very Deep Convolutional Networks For Large-Scale Image Recognition논문 링크 : https://arxiv.org/pdf/1409.1556.pdf이번에 리뷰할 논문은 VGGNet이다.원래 AlexNet-VGGNet-GoogLeNet.. 등의 순으로 소개했어야 하는데아무래도 구조가 간단해서 미루고 미루다보니 이제 한다.사실 구조만 보면 단순하기도 하고, ILSVRC 2등이라 크게 매력적이지 않을 수 있다.하지만 단순하기에 여러 model들의 BackBone으로 자주 쓰이고,당시 1등인 GoogLeNet보다 훨씬 간단한데 어떻게 저런 좋은 성적을 냈는지 살펴봐야 한다.그래서 이 논문을 리뷰하게 되었다.간략하게 핵심 위주로 살펴보자.Abstrac.. 2024. 11. 2. Identity Mappings in Deep Residual Networks(Pre-activation ResNet) 논문 제목 : Identity Mappings in Deep Residual Networks논문 링크 : https://arxiv.org/pdf/1603.05027.pdf이번 논문은 Pre-activation ResNet이다.지난 논문(WRNs)을 읽으며 Pre-activation을 무진장 많이 언급하길래,대체 뭘 했길래 이 논문에서는 저녀석의 성능을 뛰어넘을려고 애를 쓸까 하는 생각이 들었다.논문 공부법 - "참고 문헌을 따라간다"에 입각하여 이 논문도 읽게 되었다.후기 :중간 실험에서 conv3x3->conv3x3 2개 로 좁혀나가는 과정이 마음에 들었다.Gating은 죄다 실패한게 좀 웃프긴 했다.Pre-activation이 성공한 이유가 직관적으로 이해가 되니 되게 신기했다.아.. 이래서 되는구나.. 2024. 11. 2. Wide Residual Networks(WRNs) 논문 제목 : Wide Residual Networks논문 링크 : https://arxiv.org/pdf/1605.07146.pdf이번에 리뷰할 논문은 Wide Residual Network이다.여태 보던 논문 형태랑 조금 다르게 시원시원하고 글자도 큼직하다.기존의 ResNet보다 넓이를 더 넓힌 모델이다.나름 ResNet의 후속작으로 유명하기에 리뷰하게 되었다.매번 논문을 너무 자세하게 리뷰하다보니 너무 오래 걸린다.물론 내 말로 정리하다보니 이해도가 높아지고 추후 복습 시 유용하게 쓰일 것 같지만,그걸 감안해도 너무 오래 걸린다..따라서 최대한 요약해서 써볼 예정이다.후기 : CIFAR, SVHN, COCO에서 SOTA 성능을 냈지만 ImageNet에서는 못 내서 아쉽..전반적으로 너비 넓히는게 짱.. 2024. 11. 2. Rethinking the Inception Architecture for Computer Vision(Inception-v2, v3) 논문 제목 : Rethinking the Inception Architecture for Computer Vision논문 링크 : https://arxiv.org/pdf/1512.00567.pdf이번에 리뷰할 논문은 Inception-v2, v3에 대한 논문이다.기존에 중요도가 높은 Inception-v1, v4만 하고 넘어가려 했으나Inception-v2,v3에서도 읽어볼만한 부분(label smoothing 등등)들이 있어서 가볍게 읽어보려 한다.구현은 하지 않고 내용 위주로 리뷰할 예정이다.읽으면서 "즉"이 무쟈게 많이 등장할텐데, 이번 논문 표현이 좀 모호하고 복잡해서 내 나름대로 요약한 것이다.후기 : 정말 괄호와 "즉", 주석이 난무하는 글이었다.수식도 너무 많고, 기억도 잘 나지 않아 하나하.. 2024. 11. 2. Inception-v4, Inception-ResNet and the Impact of Residual Connections 논문 제목 : Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning논문 링크 : https://arxiv.org/pdf/1602.07261v2.pdfAbstract매우 깊은 convolutional network는 이미지 인식 성능에 중요한 역할이다.특히 Inception 구조, residual 연결은 최근 성능 향상에 큰 영향을 주었다.이 논문에서 Inception network를 residual로 학습하면 훨씬 빨라짐을 알 수 있었다.또한 residual이 없는 expensive inception network보다 약간 더 성능이 좋았다.적절한 activation scaling이 매우 넓은 residual I.. 2024. 11. 2. Deep Residual Learning for Image Recognition(ResNet) 논문 제목 : Deep Residual Learning for Image Recognition논문 링크 : https://arxiv.org/abs/1512.03385Abstract깊은 neural net은 학습하기가 힘들다.그래서 residual learning framework를 활용해서 더 깊은 network를 효과적으로 학습했다.Accuracy가 증가했고 optimize도 쉬워졌다.평가에 사용된 layer는 152개로 VGG net보다 8배 깊어졌다.ImageNet의 데이터셋으로 3.57%의 error를 달성했다.1. Introduction깊은 신경망은 이미지 분류에 자주 이용되었다.네트워크의 깊이가 상당히 중요하기 때문이다.그렇다면 항상 더 많은 layer를 쌓으면 더 좋은 네트워크를 얻을까?이를.. 2024. 11. 2. 이전 1 2 다음
