반응형 DL17 [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) Introduce RNN(Recurrent Neural Network, 순환 신경망) 이란?RNN이란 시간적으로 연속성이 있는 데이터를 처리하기 위해 고안된 인공신경망이다'Recurrent'는 이전 은닉층이 현재 은닉층의 입력이 되면서 '반복되는 순환 구로'를 갖는다는 의미이다RNN이 기존 네트워크와 다른 점은 기억(Memory)를 갖는다는 점이다여기서 기억이란 현재까지의 Input Data를 요약한 정보라고 생각하면 된다. 즉, 최종적으로 남겨진 기억은 모든 입력 전체를 요약한 정보라고 할 수 있다. 첫 번째 입력(x1)이 들어오면 첫 번째 기억(h1)이 만들어지고, 두 번째 입력(x2)이 들어오면 기존 기억(h1)과 새로운 입력을 참고하여 새 기억(h2)을 만든다 즉, 외부 입력과 자.. 2024. 8. 25. [DL][CNN] CNN(Convolution Neural Network) PyTorch 예제 앞선 글에서 CNN의 기본 개념에 대해 살펴보았습니다 [DL][CNN] Convolution Neural Network(CNN)Convolution Neural Network(CNN) Convolution Neural Network(CNN) 이란 인간의 시신경을 모바하여 만든 Deep Learning 구조이다특히, Convolution 연산을 이용하여 Image의 공간적인 정보를 유지하고, Fully Connected Neural Nself-objectification.tistory.com이번 글에서는 Fashion_MNIST 데이터 셋을 CNN을 통해 분류하는 예제 코드에 대해 공부해보도록 하겠습니다1. 라이브러리 Importimport numpy as npimport pandas as pdimport.. 2024. 8. 15. [DL][CNN] Convolution Neural Network(CNN) Convolution Neural Network(CNN) Convolution Neural Network(CNN) 이란 인간의 시신경을 모방하여 만든 Deep Learning 구조이다.특히, Convolution 연산을 이용하여 Image의 공간적인 정보를 유지하고, Fully Connected Neural Network 대비 연산량을 획기적으로 줄였으며, Image Classification에서 좋은 성능을 보인다. Image Data우선 Image를 정형 데이터화 하는 방법을 생각해보자정형 데이터란 컴퓨터로 식별가능한 형태로 데이터를 변환하는 것을 의미한다.Image는 Pixel 단위로 구성되어 있고 각 Pixel은 RGB 값으로 구성되어있다.즉, 아주 작은 색이 담긴 네모 상자가 여러개가 모여 이미.. 2024. 8. 1. [Optimization]Adagrad(Adaptive Gradient), RMSProp(Root Mean Squared Propagation), Adadelta(Adaptive delta) 앞선 글에서는 Gradient Descent의 운동량(Momentum)을 조정하여 수렴속도를 빠르게 하는 방법인 Momentum, Nesterov Accelerated Gradient(NAG) Optimizer를 살펴보았습니다 [Optimization]Momentum, Nesterov Accelerated Gradient(NAG)앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처self-object.. 2024. 6. 12. [Optimization]Momentum, Nesterov Accelerated Gradient(NAG) 앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란self-objectification.tistory.com 언급한 바와 같이 SGD의 단점(Parameter 변경폭이 불안정)을 개선하기 위해 Velocity.. 2024. 6. 10. [ML] 이동평균(Moving Average, SMA, CMA, WMA, EMA) Moving Average(이동평균)이란?전체 데이터 셋의 여러 하위 집합에 대한 일련의 평균을 만드는 것을 의미한다 보통 시계열 데이터에서 일정 기간동안 평균값을 계산하여 데이터의 추세를 분석하는데 사용된다(데이터의 변동성을 줄이고 장기적인 추세를 파악하기 위해서) Moving Average에는 여러 종류가 있는데 이를 살펴보겠습니다 Simple Moving Average(단순 이동 평균, SMA)정해진 폭(기간, Window)의 데이터들의 평균을 계산 SMA=xM+xM−1+⋯+xM−(n−1)n=1nn−1∑i=1xM−iCumulative Moving Average(누적 이동 평균.. 2024. 6. 10. [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD, Averaged SGD) [Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과self-objectification.tistory.com앞선 글에서 간략하게 Gradient Descent 기본 개념에 대해 보았습니다 그럼 이번 글에서는 여러 Gradient Descent 대해서 보도록 하겠습니다 ! ※ NotationEpoch인공신경망에서 전체 데이터 셋에 대해 Forward, Backward 과정을 한번 거친 것즉, 전체 데이터 셋에 대.. 2024. 6. 10. [Optimization] Gradient Descent(경사하강법) ! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다 ML/DL 에서는 Loss Function을 정의하고 Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimizatself-objectification.tistory.comGradient Descent에 대해 적기 전에 간단하게 Gradient에 대해 정의하고 시작하겠습니다 ! ※ Gradient 깊게 들어가면 벡터 미적분학.. 2024. 6. 8. 이전 1 2 다음 반응형
