전체 글85 [DL][NLP] Seq2Seq 예제 (Pytorch) 이전 Seq2Seq 글을 보고오시면 좋습니다 ! [DL][NLP] Seq2Seq(Seqence to Sequence) 모델RNN에 대해 먼저 알고 보면 더 이해가 쉽습니다 !2024.08.26 - [DL/RNN] - [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조 [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조앞선 글에서 RNN에 대해 간략self-objectification.tistory.com 1. EncoderSeq2Seq의 Encoder에서는 Input Sequence의 모든 단어들을 순차적으로 입력받은 뒤 마지막에 이 모든 단어 정보를 압축하여 Context Vector(RNN의 마지막 Hidden State).. 2024. 10. 28. [DL][NLP] Seq2Seq(Seqence to Sequence) 모델 RNN에 대해 먼저 알고 보면 더 이해가 쉽습니다 ! [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조앞선 글에서 RNN에 대해 간략하게 알아보았습니다 [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) IntroduceRNN(Recurrent Neural Network, 순환 신경망) 이란?RNN이란 시간적으로 연속성이 있는 데이터를 처리self-objectification.tistory.com 1. 전통적인 RNN 기반의 기계 번역 발전 과정Seq2Seq 모델은 이후에 살펴보겠지만 Input Sequence를 고정된 크기의 Context Vector로 Encoding하여 Output sequence를 생성하는 방식이다. 하지.. 2024. 10. 28. [DL][RNN] LSTM(Long Short - Term Memory) 구조 및 PyTorch 구현 LSTM(Long Short - Term Memory) 이란LSTM은 RNN 기법 중 하나로 Cell, Input Gate, Output Gate, Forget Gate를 이용해 기존 RNN의 문제인 기울기 소멸 문제(Vanishing Gradient)를 방지하도록 개발된 모델이다 RNN은 이전 단계의 출력을 다음 단계의 입력으로 사용하는 순환 구조로, Sequence 데이터에서 패턴을 학습하는 데 적합하다 하지만, RNN은 긴 시퀀스에서 초기 정보가 뒤로 갈수록 희미해지는 '장기 의존성 문제(Long-term dependency problem)'가 발생할 수 있다. 이는 RNN의 Gradient가 시간 경과에 따라 급격히 커지거나 작아지는 '기울기 소멸(vanishing gradient)'이나.. 2024. 8. 27. [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조 앞선 글에서 RNN에 대해 간략하게 알아보았습니다 [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) IntroduceRNN(Recurrent Neural Network, 순환 신경망) 이란?RNN이란 시간적으로 연속성이 있는 데이터를 처리하기 위해 고안된 인공신경망이다'Recurrent'는 이전 은닉층이 현재 은닉층의 입력이 되면서 '반복되는self-objectification.tistory.com 이번 글에서는 RNN Cell과 RNN Layer의 구조 및 수식에 대해 깊게 공부해보고 PyTorch를 통해 구현해보도록 하겠습니다RNN(Recurrent Neural Network, 순환 신경망) 구조RNN은 은닉층 노드들이 연결되어 이전 단계 정보를 은닉층 노드에 저.. 2024. 8. 26. [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) Introduce RNN(Recurrent Neural Network, 순환 신경망) 이란?RNN이란 시간적으로 연속성이 있는 데이터를 처리하기 위해 고안된 인공신경망이다'Recurrent'는 이전 은닉층이 현재 은닉층의 입력이 되면서 '반복되는 순환 구로'를 갖는다는 의미이다RNN이 기존 네트워크와 다른 점은 기억(Memory)를 갖는다는 점이다여기서 기억이란 현재까지의 Input Data를 요약한 정보라고 생각하면 된다. 즉, 최종적으로 남겨진 기억은 모든 입력 전체를 요약한 정보라고 할 수 있다. 첫 번째 입력($x_1$)이 들어오면 첫 번째 기억($h_1$)이 만들어지고, 두 번째 입력($x_2$)이 들어오면 기존 기억($h_1$)과 새로운 입력을 참고하여 새 기억($h_2$)을 만든다 즉, 외부 입력과 자.. 2024. 8. 25. [ML][Time - Series Analysis] ARMA(Auto Regression Moving Average, 자기 회귀 이동 평균) 모델 ARMA(Auto Regression Moving Average, 자기 회귀 이동 평균) 모델이란?AR 모델과 MA 모델을 결합한 형태로, 현재 시점의 데이터가 과거 데이터의 상태(AR 부분)와 과거 오차(MA 부분) 모두에 의존한다고 가정한 모델이다 ARMA 모델 수식$$ {\large Z_{t} = \alpha + \Phi_{1} Z_{t-1} + \Phi_{2} Z_{t-2} + \cdots + \Phi_{p} Z_{t-p} \; + \; \epsilon_{t} + \theta_{1}\epsilon_{t-1} + \theta_{2}\epsilon_{t-2} + \cdots + \theta_{q}\epsilon_{t-q} } $$ AR(Auto Regression) 부분$\alpha + \Phi_{1.. 2024. 8. 25. [ML][Time - Series Analysis] MA(Moving Aveage) 모델 MA(Moving Aveage) 모델이란?MA 모델은 트렌드(평균 혹은 시계열 그래프에서 y값)가 변화하는 상황에 적합한 회귀모델 MA 모델에서는 "윈도우(Window)"라는 개념을 사용하는데, 시계열을 따라 윈도우 크기만큼 sliding 된다로 하여 이동 평균 모델이라 한다MA 모델 수식$${\large Z_{t}= \mu + \epsilon_{t} + \theta_{1}\epsilon_{t-1} + \theta_{2}\epsilon_{t-2} + \cdots + \theta_{p}\epsilon_{t-p}}$$ $Z_{t}$ : 현재 시점에서의 시계열 값 $\mu$ : 평균$\epsilon_{t} + \theta_{1}\epsilon_{t-1} + \theta_{2}\epsilon_.. 2024. 8. 25. [ML][Time - Series Analysis] AR(Auto Regression, 자기 회귀)모델 AR(Auto Regression, 자기 회귀)모델AR 모델은 이전 관측값이 이후 관측값에 영향을 준다는 아이디어에 대한 모델이다즉, 현재 값이 이전 값들의 선형 결합으로 설명된다고 가정합니다수식$${\large Z_t = \alpha + \Phi_1 Z_{t-1} + \Phi_2 Z_{t-z} + \cdots + \Phi_p Z_{t-p}+ \epsilon_t }$$$Z_t$ : 시계열 데이터의 시점 t의 값$\Phi_1, \Phi_2, \cdots, \Phi_p$ : 회귀 계수(자기회귀 계수)$\epsilon_t$ : 평균이 0이고 분산이 일정한 백색 잡음(white noise) $p$ : AR 모델의 차수(order, 이전 시점의 데이터 개수)수식을 통해 알 수 있는건 AR 모델은 과거 p개의 데이.. 2024. 8. 15. [ML][Time Series Analysis] 시계열 분석 Introduce 시계열 분석(Time - Series Analysis)시계열 분석이란 시간에 따라 변하는 데이터를 사용하여 추이를 분석하고 향후 전망을 예측하는 것입니다 시계열 데이터의 형태는 데이터 변동 유형에 따라 불규칙 변동, 추세 변동, 순환 변동, 계절 변동으로 구분할 수 있습니다불규칙 변동(Irregular Variaiton) : 시계열 자료에서 시간에 따른 규칙적인 움직임과 달리 어떤 규칙성이 없어 예측 불가능 하고 우연적으로 발생하는 변동추세 변동(Trend Variaiton) : 시계열 자료가 갖는 장기적인 변화 추세추세(Trend) : 장기간에 걸쳐 지속적으로 증가/감소하거나 일정한 상태(Stationary)를 유지하려는 현상순환 변동(Cyclical Variaiton) : 대체로 2~3년 정도의 일정.. 2024. 8. 15. 이전 1 ··· 3 4 5 6 7 8 9 10 다음
