럭키한 행복 회로

ICLR 2021Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil HoulsbyGoogle Research, Brain TeamDOI : 10.48550/arXiv.2010.11929 IntroductionNLP에 transformer가 좋은 성능을 보임에 따라, 이미지에도 self-attention 메커니즘을 사용하고자 하는 시도가 많았다.그러나 여전히 CNN-based 기술이 SOTA를 차지하고 있으며, ..

ICML 2021Mingxing Tan, Quoc V. Le Google Research, Brain Team 1 Apr 2021 10.48550/arXiv.2104.00298  EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksICML 2019Mingxing Tan, Quoc V. LeGoogle Research, Brain Team29 Jan 2019DOI: 10.48550/arXiv.1905.11946 Introduction기존에는 ConvNets을 확장하기 위해 네트워크의 width, depth, resolution을 키우는 방법을 사용했다.그러나 이 논luckyhappycircuit.tistory.com Introdu..

ICML 2019Mingxing Tan, Quoc V. LeGoogle Research, Brain Team29 Jan 2019DOI: 10.48550/arXiv.1905.11946 Introduction기존에는 ConvNets을 확장하기 위해 네트워크의 width, depth, resolution을 키우는 방법을 사용했다.그러나 이 논문에서는, 균형잡힌 확장이 성능에 더 큰 이득을 준다는 것을 확인해, compound coefficients를 제안한다.이는 기존 방법론보다 더 줄어든 parameter로 더 좋은 성능을 보여준다. Compound Model ScalingConvNets은 수식으로 다음과 같이 쓸 수 있다.$$\mathcal{N} = \bigodot\limits_{i=1 \dots s} \..

npj Flexible Electronics 2024Yoonseok Park, Haiwen Luan, Kyeongha Kwon, Ted S. Chung, Seyong Oh, Jae-Young Yoo, Gooyoon Chung, Junha Kim, Suhyeon Kim, Sung Soo Kwak, Junhwan Choi, Hoang-Phuong Phan, Seonggwang Yoo, Hyoyoung Jeong, Jaeho Shin, Sang Min Won, Hong-Joon Yoon, Yei Hwan Jung, John A. RogersKyung Hee University | University of California San Diego | Korea Advanced Institute of Science ..

논문 제목 : Continuous, noninvasive wireless monitoring of flow of cerebrospinal fluid through shunts in patients with hydrocephalus논문 링크 : https://www.nature.com/articles/s41746-020-0239-1 수두증 환자는 shunt라고 하는 압력 조절 실리콘 튜브 조립체를 수술로 삽입해서 뇌척수액(CSF)를 흐르게 한다.그러나 이는 소아는 6년 내 50% 고장, 성인은 6년 내 16% 고장이라는 높은 고장률을 보인다.이렇게 고장이 나면 아래와 같은 문제가 발생한다.고장 시 증상이 수두증 증상과 동일함 (두통, 구토, 졸음 등)증상이 매우 비특이적임편리한 직접 측정 방법이 없음현재는..

아두이노는 I2C 통신을 통해 LCD 패널에 문자를 출력하는 것이 가능하다.가장 기본적인 기능 테스트를 하기 위해 "Hello, world!"를 출력하고자 했다.여기서 5V, GND를 LCD와 연결하면 켜진다.그런데 여기서 큰 문제가 있다. 바로 5V 핀이 동작하지 않는다는 점이다.3.3V만 되는데 그렇게 하면 엄청나게 연하게 보인다. 사실 안 보인다.기본적으로 아두이노에서는 5V output을 막아놨다. 이 보드만 그런건지는 모르겠다.해결책은 아래와 같다.5V PinThe microcontroller on the Arduino Nano 33 BLE Sense Rev2 runs at 3.3V, which means that you must never apply more than 3.3V to its Di..

논문 제목 : Distilling the Knowledge in a Neural Network논문 링크 : https://arxiv.org/abs/1503.02531 이번에 읽은 논문은 딥러닝 경량화에 정~~말 자주 쓰이는 지식 증류 기법이다.매우 좋은 논문이다. 특히 소형 네트워크 제작 시 필수적이라고 볼 수 있다.읽으면서 신선함, 그리고 실용성에 감탄이 나왔다. 목적 : 기존 거대한 데이터셋에서는 앙상블 등의 방식으로 학습이 어려움어떻게 보면 모델이란건 결국 입력 벡터를 출력 벡터로 매핑하는 과정임따라서 이 과정을 소형 모델이 모방하게 만들면 비슷하게 작동함이를 지식 증류 기법(distillation)이라고 함기존에는 hard target(딱 한 값만 output)을 사용했다면, 여기서는 soft t..

논문 제목 : MobileNetV2: Inverted Residuals and Linear Bottlenecks논문 링크 : https://arxiv.org/abs/1801.04381 이번에 읽은 논문은 MobileNetV1의 후속작은 MobileNetV2이다.MobileNetV1에서 inverted residual connections를 추가해서 성능을 개선했다.분명 병목이 생겼는데 성능과 속도가 더 향상된 점이 신기하다. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications논문 제목 : MobileNets: Efficient Convolutional Neural Networks for Mobile Visio..

논문 제목 : MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications논문 링크 : https://arxiv.org/abs/1704.04861 이번에 읽은 논문은 MobileNet V1이다.기존의 딥러닝 모델 압축 기술(SqueezeNet)에서 한 단계 나아가, Depthwise separable convolutions를 사용한다.이는 Fire Module을 사용한 SqueezeNet보다 훨씬 더 빠르고 효율적인 계산이 가능하다. 기존의 압축 기술들이 네트워크의 크기 줄이기에만 집중했다면, MobileNets는 속도 또한 최적화의 대상으로 삼았다.핵심은 Depthwise Separable Convolution이다...

논문 제목 : Automated Tear Film Surface Quality Breakup Time as a Novel Clinical Marker for Tear Hyperosmolarity in Dry Eye Disease논문 링크 : https://pubmed.ncbi.nlm.nih.gov/26544794/ 이번에 읽은 논문은 이전 논문에서 언급했던 비침습적 안구건조 진단 방식인  NIBUT을 사용한 진단 방식에 관한 것이다.근데 이 논문에서는 기기가 이미 자동으로 측정, 진단해준다.따라서 실제로 방법론적 의의보다는 다른 방법과의 비교, 임상적 이점을 제시하는 것에 있다고 볼 수 있다. 목적안구 건조증(DED) 진단의 임상적 지표로 tear film surface quality breakup ti..