7월 1일 끄적끄적

 오늘은 BERT model에 대해 배웠다. 예전에 혼자 NLP 쪽을 공부할 때도 BERT 공부할 때가 뭔가 재밌었고, BERT 관련 책도 많이 사고 코드도 많이 작성했던 좋은 기억이 있었기 때문에 오늘 BERT 강의도 흥미를 가지고 수강할 수 있었다. 물론, 흥미가 있다고 잘하는 건 절대 아니지만..

 

BERT 강의를 듣고 나중에 배울 Advanced 된 BERT model이나 GPT model을 배울 때 Transformer, 특히 positional encoding이랑 self-attention 쪽을 제대로 이해하지 못하면 발목을 크게 잡을 거 같아서 어제에 이어 다시 한번 복습하는 시간을 가졌다. 예전에 봤던 책들 중 "구글 BERT의 정석"이란 책을 다시 펼쳐봤는데, positional encoding을 계산하는 과정을 detail 하게 설명해줘서 잘 이해할 수 있었다.

 

벌써 7월이고, 3번의 스터디도 끝이 나는 걸 보니 점점 프로젝트가 가까워지는 게 느껴진다. 프로젝트할 때 민폐 끼치지 않게 열심히 미리미리 공부해야겠다.