본문 바로가기

분류 전체보기

 (149)
프로젝트 최종 발표 PPT
Pytorch DataLoader Argument DataLoaer - 데이터를 미니 배치 단위로 나누어서 제공하는 역할 DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, *, prefetch_factor=2, persistent_workers=False) - batch_size: Batch size 지정 - shuffle: 데이터를 섞어서 사용할 것인가의 여부 - sampler: 데이터 인덱스를 다루는 방법. 인덱스를 직접 다루기 때문에 shuffle 파라미터는 반드시 False여..
Pytorch Label Smoothing import torch.nn as nn class LabelSmoothingLoss(nn.Module): def __init__(self, classes, smoothing=0.0, dim=-1): super(LabelSmoothingLoss, self).__init__() self.confidence = 1.0 - smoothing self.smoothing = smoothing self.cls = classes self.dim = dim def forward(self, pred, target): pred = pred.log_softmax(dim=self.dim) # Cross Entropy 부분의 log softmax 미리 계산하기 with torch.no_grad(): # true_dist = pr..
Colab Runtime 유지 function ClickConnect(){ console.log("Working"); document.querySelector("colab-toolbar-button#connect").click() }setInterval(ClickConnect, 1800000) 30분마다 Colab에 클릭이벤트 시행 -> 12시간 동안 유지 time.sleep으로 코드 시행 후, 런타임 유지 import time print('건들지 마시오.') time.sleep(7200) print('드디어 끝 ..') + 화면 절전모드 전환 끄기 및 이런 거 켜놓기 ..
ELECTRA model을 이용한 이진 class 분류 project 구름 교육에서 ELECTRA model을 이용한 긍/부정 class 분류 project를 시행했다. BERT 파생 model을 이용해본 첫 project라 code도 깔끔하지 않고 생각대로 잘 안 되었지만, 그래도 많은 것을 얻어갔고 발전해보는 정말 의미 있는 시간이었다. 각 component에 따른 결과 값을 정리해보았고, 자세한 code는 깃허브 참조 바람. 프로젝트 개요 프로젝트 개요 -Hugging face의 ELECTRA model을 기반으로 Learning rate, Scheduler, Batch size 등의 다양한 Hyperparameter를 적용하여 최적의 성능 도출 (Base Hyperparameter: lr=5e-5) 팀 구성 및 역할 -이름: 정동영 -역할: Model Test -담..
7월 8일 끄적끄적 오늘은 Neural Machine Translation에 대해 배웠다. 구체적인 model들의 구조보다는 전체적인 NMT의 흐름과 evaluation에 대해 배웠던 것 같다. 그래서 크게 어려운 부분은 없었고, 저번에 BLEU score에 대해 간단하게 설명 들은 것을 오늘 더 자세히 배울 수 있어서 좋았던 것 같다.
Neural Machine Translation Neural Machine Translation Translation Source-language text → Target-language text Machine Translation Sentence x from source language → Sentence y from target language Most Biggest Research Area: ACL 2021 Accepted Papers, EMNLP 2021 Accepted Papers History of Machine Translation Statisical Machine Translation (~2015) Probabilistic model from data P(x|y): Translation Model P(y): Language Model A..
7월 7일 끄적끄적 오늘은 Text Generation에 대해 배웠다. 실습에서 text를 여러 방법으로 직접 decoding 해봤고, 여러 parameter들을 수정해보면서 결과를 비교하는 시간을 가졌다. 내일은 Machine Translation에 대해 배우는데, 프로젝트 주제 중에 나만의 번역기 만드는 내용이 있으므로 최대한 집중해서 공부해야겠다.

티스토리툴바