강의 리뷰/TinyML and Efficient Deep Learning(MIT)1 Pruning Neural Network를 빠르고 가볍게 만드는 방법 중 하나는 Pruning(가지치기)이다.Pruning이란 쉽게 말해서 node들을 가지치기하듯 잘라내서 가볍게 만들면서, 정확도 감소는 적게 만드는 기법이다.본 강의에서는 그러한 기법들의 장,단점과 사용법에 대해서 알려준다.Pruning 분류먼저 Pruning을 크게 분류해보자면 아래와 같이 분류할 수 있다.좌측으로 갈수록 불규칙하고, 우측으로 갈수록 규칙적이다.불규칙의 장점은 압축율이 높다는 점, 그리고 redundant weight들을 찾기가 쉽다는 점이다.단점이라면 저렇게 무작위로 되어있으므로 weight 크기 자체를 압축하기가 어렵다.규칙의 장점은 즉각적으로 속도를 높일 수 있다는 점이다.단순히 pruning해서도 그렇지만, 불필요한 weig.. 2024. 11. 3. 이전 1 다음
