본 포스팅은 아래 논문과 두 유튜브 강의를 기반으로 작성하였습니다. 논문 링크 강필성 교수님, 고려대 DSBA 연구실 강의 허민석, 밑바닥부터 알아보는 GPT-1 1. GPT Basic GPT는 Generative Pre-trained Transformer의 약자이다. 각각의 의미를 분해해보면 다음과 같다. 1-1. Generative Generative 모델, 즉 생성 모델은 주어진 학습 데이터를 학습하여 학습 데이터의 분포를 따라는 유사한 데이터를 생성하는 모델을 의미한다. 학습데이터와 유사한 샘플을 뽑아야 하기 때문에 생성 모델은 학습 데이터의 분포를 어느 정도는 알고 있어야 한다. 즉, 생성모델의 핵심은 학습 데이터의 분포를 학습하는 것이며 이것이 잘 이뤄지기 위해서는 충분한 양의 데이터가 확보되..
