6월 30일 끄적끄적

 오늘은 NLP Quiz 2를 보고, 해설 강의를 듣고, 어제에 이어 Transformer를 다시 공부하는 시간을 가졌다. Quiz는 Transformer 부분을 제외하면 어렵지 않게 풀 수 있었으나, 역시 문제는 Transformer부분이 너무 어려웠다. 사실, 어제 Transformer에 대한 이해가 완전히 이루어지지 않은 상태라 해설 강의를 집중해서 들었다.

 

그리고 다시 Transformer에 대해 이해하기 위해서 옛날 책들도 꺼내보고 구글링도 무진장해서 전반적인 구조는 이해하게 되었는데, 여전히 detail 한 수식 부분이 조금 어려웠다. 특히, positional encoding 부분이 아직도 완벽히 이해가 안 가서 주말에 다시 공부해야겠다.