전체 글 37

Facebook Prophet 논문 리뷰

해당 포스팅은 Sean J Tay, Benjamin Letham의 'Forecasting at Scale' 논문을 기반으로 작성되었습니다. 위의 논문을 리뷰한 내용은 다음과 같다. 1. Intro 페이스북에서 근무하는 두 저자는 business time series 분석 도구, 즉 Prophet 패키지를 만들었는데 많은 사람들이 쓸 수 있는 "scale"한 분석 도구를 만드는 것이 목적이었다고 한다. 실제 많은 시계열 관련 분석이 Prophet을 통해 이뤄지고 있다. 많은 auto화 된 패키지가 그렇듯 위 analyst-in-loop의 하단의 automated 파트는 자동화된 툴을 사용하는 것을 추구한다. 자동화된 패키지 구성을 위해서 뿐만 아니라 시계열에서는 다양한 요소들이 고려되어야 한다. 실제 페이..

시계열 통계모델 2 [이론] - ARCH / GARCH 모형

해당 포스팅은 "실전 시계열 분석" 교재와 실습코드 / 고려대학교 DMQA 강의와 강의자료 / K-Mooc 전치혁 교수님 강의를 기반으로 작성되었습니다. https://www.youtube.com/watch?v=ma_L2YRWMHI&list=PLpIPLT0Pf7IqSuMx237SHRdLd5ZA4AQwd&index=9 http://www.kmooc.kr/courses/course-v1:POSTECHk+IMEN677+2021_T2/about 시계열분석 기법과 응용 시계열 데이터 분석을 통하여 시간에 따른 상관관계 등의 패턴 추출 및 이를 바탕으로 미래에 대한 예측을 위한 다양한 기법 학습 및 응용 능력을 배양한다. www.kmooc.kr 1. ARCH (Autoregressive Conditional Het..

시계열 통계모델 2 [이론] - ARIMA / SARIMA / VAR 모형

해당 포스팅은 "실전 시계열 분석" 교재와 실습코드 / 고려대학교 DMQA 강의와 강의자료 / K-Mooc 전치혁 교수님 강의를 기반으로 작성되었습니다. https://www.youtube.com/watch?v=ma_L2YRWMHI&list=PLpIPLT0Pf7IqSuMx237SHRdLd5ZA4AQwd&index=9 http://www.kmooc.kr/courses/course-v1:POSTECHk+IMEN677+2021_T2/about 시계열분석 기법과 응용 시계열 데이터 분석을 통하여 시간에 따른 상관관계 등의 패턴 추출 및 이를 바탕으로 미래에 대한 예측을 위한 다양한 기법 학습 및 응용 능력을 배양한다. www.kmooc.kr 1. ARIMA (Autoregressive Integrated Mov..

시계열 통계모델 1 [이론] - Exponential Smoothing / Holt-Winter / AR / MA

해당 포스팅은 "실전 시계열 분석" 교재와 실습코드 / 고려대학교 DMQA 강의와 강의자료를 기반으로 작성되었습니다. https://www.youtube.com/watch?v=ma_L2YRWMHI&list=PLpIPLT0Pf7IqSuMx237SHRdLd5ZA4AQwd&index=9 1. 시계열 데이터와 선형 회귀 ? 시계열 데이터에는 통상적으로 회귀 모델을 사용하지 않는다. 그 이유는 선형 회귀 분석의 가정인 독립 항등분포 (Independently and Identically Distributed) 조건이 시계열 데이터에서는 성립하지 않는 경우가 대부분이기 때문이다. 시계열 데이터는 그 시간 step에 영향이 클수록 시간과 강한 상관관계를 가지고 있기에 위 가정이 성립되지 않아 선형 회귀를 쓰는 것이 ..

시계열 데이터 EDA

해당 포스팅은 "실전 시계열 분석" 교재와 실습코드를 기반으로 작성되었습니다. 1. Plot 그리기 R이 제공하는 Eustockmarkets 시계열 데이터셋으로 시각화 해보자. plot(EuStockMarkets) 간단하게 plot() 함수만으로도 데이터를 서로 다른 시계열 그래프로 자동 분할할 수 있다. class(EuStockMarkets) 이 명령어로 R의 ts와 mts 객체를 사용한다는 것을 알 수 있다. ts 객체는 R의 여러 패키지들이 활용하고 있으며 위 plot()함수와 같이 적절한 도표를 바로 반환해줄 수 있다. 다른 기본 기능들은 다음과 같다. 1-1. 히스토그램 히스토그램도 간단하게 만들 수 있다. 단 이때 시간상 인접한 데이터 간의 차이(차분)된 결과도 함께 보겠다. > hist(Eu..

누락된 시계열 데이터

해당 포스팅은 "실전 시계열 분석" 교재와 실습코드를 기반으로 작성되었습니다. 시계열 데이터는 다른 데이터와 마찬가지로 누락된 값을 가질 수 있다. 오히려 비시계열 데이터와 다르게 같은 시간축의 시계열 데이터를 샘플링하는게 더 까다로울 수 있기에 누락된 값을 더 많이 가질 수 있다. 이런 누락된 데이터 문제를 해결하기 위해 쓰이는 일반적인 방법은 다음과 같다. 대치법 (Imputation) : 데이터셋 전체의 관측에 기반해 누락된 데이터를 채워넣는 방법 보간법 (Interpolation) : 대치법의 한 형태로 인접한 데이터를 사용하여 누락된 데이터를 추정하는 방법 누락된 데이터의 기간을 아예 사용하지 않는 방법 1. 데이터셋 기본 데이터는 1948년 미국 정부가 발표한 월간 실업 자료이고 실습을 위해 ..

Word2Vec - CBOW & Skip-Gram

본 포스팅은 아래 두가지 자료를 기반으로 작성되었습니다. 위키독스 딥러닝을 이용한 자연어 처리 입문 딥 러닝을 이용한 자연어 처리 입문 많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*… wikidocs.net 밑바닥부터 시작하는 딥러닝 2 밑바닥부터 시작하는 딥러닝 2 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞춰 살펴본다. 8장 구성으로 전체를 하나 www.hanbit.co.kr 1. 희소(Sparse) & 분산(Distributed) 표현 1-1. 희소 표현 (Sparse ..

BERT - pytorch 구현

본 포스팅은 아래 깃헙과 포스팅을 참고하여 작성되었습니다. https://github.com/codertimo/BERT-pytorch GitHub - codertimo/BERT-pytorch: Google AI 2018 BERT pytorch implementation Google AI 2018 BERT pytorch implementation. Contribute to codertimo/BERT-pytorch development by creating an account on GitHub. github.com https://needmorecaffeine.tistory.com/30 BERT - 이론 본 포스팅은 아래의 자료와 강의를 기반으로 작성되었습니다. BERT Paper 위키독스, 딥러닝을 이용한 ..

BERT - 이론

본 포스팅은 아래의 자료와 강의를 기반으로 작성되었습니다. BERT Paper 위키독스, 딥러닝을 이용한 자연어 처리 입문 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations f..

Attention is All You Need (Transformer)

해당 포스팅은 다음의 유튜브 강의와 논문을 기반으로 작성되었습니다. 고려대 산경공 DSBA 논문 리뷰 강의 Attention is All You Need 논문 위키독스, 딥러닝을 이용한 자연어처리 입문 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arx..