DL19 [DL][RNN] GRU(Gate Recurrent Unit, 게이트 순환 신경망) 개념 1. GRU(Gate Recurrent Unit, 게이트 순환 신경망)이란?GRU란 Gate 메커니즘이 적용된 RNN 모델의 한 종류입니다.RNN의 문제점인 기울기 소멸 문제를 해결하기 위해 "Cell State"와 세 개의 Gate 메커니즘을 도입한 LSTM(Long Term Short Term Memory)은 상대적으로 복잡한 구조로 인해 계산 비용이 너무 크다는 단점이 있습니다.따라서, GRU는 LSTM의 네트워크를 개선하기 위한 모델로, 정보의 흐름을 제어하기 위해 두 개의 Gate를 사용하여 계산을 효율적으로 합니다. 이를 통해 빠른 학습이 가능하고 낮은 시간 복잡성을 가지게 됩니다.2. GRU의 구조 및 특징2.1 GRU의 구조GRU는 LSTM에서 사용하는 Forget Gate와 Input G.. 2025. 5. 16. [DL][CNN] ResNet 개념 및 Pytorch 구현 1. ResNet이란?MicroSoft에서 개발한 알고리즘으로 "Deep Residual Learning for Image Recognition"이라는 논문에서 발표하였습니다. ResNet의 핵심은 깊어진 신경망을 효과적으로 학습하기 위한 방법으로 Residual이라는 개념을 고안하였습니다. 일반적으로 신경망이 깊어질수록 성능이 좋아질거 같지만 일정한 단계에 다다르면 오히려 성능이 나빠지는 문제를 해결하기 위해 Residual Block을 도입하였습니다. 이러한 개념이 필요한 이유는 2014년에 공개된 GoogLeNet은 Layer가 22개로 구성된 것에 비해 ResNet은 Layer가 총 152개로 구성되어 기울기 소멸 문제가 발생할 수 있기 때문입니다. 따라서, Shortcut을 두어 기울기 소멸 .. 2025. 4. 30. [DL][CNN] GoogLeNet 개념 및 Pytorch 구현 1. GoogLeNet이란?GoogLeNet이란 2014년 Google에서 개발한 CNN모델로 ILSVRC 2014(ImageNet Large Scale Visual Recognition Challenge)에서 우승을 차지하였습니다.주어진 HW자원을 최대한 효율적으로 이용하면서 학습은 극대화할 수 있는 깊고 넓은 신경망입니다.깊고 넓은 신경망을 위해 Inception Module을 추가하였습니다. 이를 통해 네트워크의 Depth와 Width를 늘리면서도 Computational Efficiency를 확보하였습니다.GoogLeNet 특징Inception Module : 여러 크기의 Convolution Filter(1x1, 3x3, 5x5)를 동시에 적용하여 네트워크가 다양한 크기의 패턴을 학습, 더 깊.. 2025. 3. 29. [DL][CNN] VGGNet 개념 및 Pytorch 구현 1. VGGNet이란?VGGNet은 2014년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 처음 발표된 CNN 모델로, 네트워크의 깊이가 성능에 미치는 영향을 분석하기 위해 설계되었다.기존 모델보다 깊은 구조를 가지면서도 설계를 단순화하기 위해 합성곱 층의 Kernel 크기를 모두 3 × 3으로 고정하여 작은 커널을 여러 번 쌓아 깊은 네트워크를 구성할 수 있게 되어 불필요한 복잡성을 줄였다. 또한, 합성곱층 사이에 2×2 크기의 Max Pooling을 적용하여 특성 맵의 크기를 효율적으로 줄이면서도 중요한 정보를 유지할 수 있도록 설계되었다.이러한 구조적 특징 덕분에 VGGNet은 비교적 간결한 설계 방식으로도 깊은 네트워크를 구성할 수 .. 2025. 2. 27. [DL][CNN] AlexNet 개념 및 Pytorch 구현 1. AlexNet 이란?ImageNet 영상 데이터베이스를 기반으로 한 화상인식대회인 "ILSVRC(ImageNet Large Scale Visural Recognition Challenge) 2012"에서 우승한 CNN 구조이다.Convolution Layer 5개와 Fully Connected Layer 3개로 구성되어 있으며, 마지막 Fully Connected Layer는 카테고리 1000개를 분류하기 위해 Softmax 활성화 함수를 사용했다.전체적으로 보면 GPU 두개를 기반으로 한 병렬 구조인 점을 제외하면 LeNet-5와 크게 다른 점이 없다.2. AlexNet의 구조Input : 224 x 224 x 3 크기의 ImageConvolution Layer 1 : 11 x 11 크기의 .. 2025. 2. 21. [DL][CNN] LeNet-5 1. LeNet-5 란?LeNet-5는 합성곱 신경망이라는 개념을 최초로 Yann LeCun이 개발한 구조이다. 수표에 쓴 손글씨 숫자를 인식하는 Deep Learning 구조 LeNet-5fmf 1955년 발표하였는데, 이것이 현재 CNN의 초석이 되었다. LeNet-5는 합성곱(Convolutional)과 다운 샘플링(Down - Sampling 혹은 Pooling)을 반복적으로 거치면서 마지막에 완전 연결층에서 분류를 수행한다. Input : 32 x 32 x 1Convolution Layer 1(C1) : 5x5 합성곱 => 28 x 28의 Feature Map 6개 생성in_channels=1, out_channels=6, kernel_size=5, stride=1$W = H = \frac{3.. 2025. 1. 15. [DL][CNN] 설명 가능한 AI (Explainable Artificial Intelligence, XAI)와 Feature Map 시각화, PyTorch 예제 1. Explainable Artificial Intelligence(XAI) 란?Explainable AI란 Deep Learning 처리 결과를 사람이 이해할 수 있는 방식으로 제시하는 기술이다. Deep Learning에서 Model 내부는 Black Box 같아 내부에서 어떻게 동작하는지 설명하기 어렵다.따라서 Deep Learning을 통해 얻은 결과는 신뢰하기 어려운데 처리 과정을 시각화해야 할 필요성이 있다. Model을 구성하는 각 중간 게층부터 최종 분류기까지 입력된 이미지에 대해 Feature map이 어떻게 추출되고 학습하는지를 시각적으로 설명할 수 있어야만 결과에 대한 신뢰성을 얻을 수 있다. 이제부터 CNN 내부 과정에 대한 시각화를 진행하는데 시각화 방법에는 Filter에 대한 .. 2025. 1. 15. [DL][CNN]전이학습의 미세조정 기법(Fine - Tuning) 개념 및 PyTorch 예제 앞선 글에서 Transfer Learning의 개념과 Transfer Learning의 한 종류인 Feature Extraction에 대해 알아보았습니다.이제 Transfer Learning의 또 다른 기법인 Fine - Tuning에 대해 알아보겠습니다. 전이학습(Transfer Learning) 및 특성추출(Feature Extraction) 정리 ,CNN(resnet18) PyTorch 예제1. 전이 학습(Transfer Learning)이란?일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 양의 데이터가 필요하다. 하지만 큰 데이터셋을 얻는 것은 현실적으로 어렵기 때문에 아주 큰 데self-objectification.tistory.com1. 미세 조정 기법(Fine - Tuning.. 2025. 1. 14. [DL][CNN]전이학습(Transfer Learning) 및 특성추출(Feature Extraction) 정리 ,CNN(resnet18) PyTorch 예제 1. 전이 학습(Transfer Learning)이란?일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 양의 데이터가 필요하다. 하지만 큰 데이터셋을 얻는 것은 현실적으로 어렵기 때문에 아주 큰 데이터 셋을 써서 훈련된 모델의 Parameter를 가져와 해결하려는 과제에 맞게 보정해서 사용하는 *Transfer Learning*을 진행하여 현실적인 어려움을 해결한다. 이 때 아주 큰 데이터셋을 사용하여 훈련된 모델을 Pre-trained model이라 부른다.전이 학습을 위한 방법으로는 특성 추출(Feature Extraction)과 미세 조정(Fine - Tuning) 기법이 있다. 2. 특성 추출 기법(Feature Extraction)이란?ImageNet 데이터셋으로 Pre.. 2025. 1. 14. 이전 1 2 3 다음
