B/Deep Learning (2) 썸네일형 리스트형 cuda: device-side assert triggered gpu 구동 Error 잡기 gpu로 pytorch 코드를 돌리려고 하면 가끔 이유 모를 에러가 뜬다.. 에러명이 device-side assert triggered인데 에러를 잡을 길이 안보였다. 특히 이게 모델 코드 문제인지, 아니면 gpu 내부 연산 문제인지를 모르니까 더 답답했다. 1. device 설정 바꾸기 기본적으로 해당 에러는 CUDA에서 발생한 에러이기 때문에, GPU기반이 아니라 CPU기반으로 코드를 돌려보면 은근 쉽게 해답이 나올 수 있다. 보통 device에 torch.device를 'cuda:0' 으로 할당할 텐데 이를 'cpu'로 바꾸고 코드를 돌려보자. 이러면 좀 더 정확하고 구체적인 오류가 뜰수도..! (반대로 오류가 아예 안잡힐 수도 있음) 2. 이렇게 돌렸을때 아래 포스팅으로부터 구체적인 오류를 해결.. [자연어처리] 어떻게 텍스트 데이터를 늘릴 것인가? (Text Data Augmentation) 보통 Data Augmentation은 1. 학습데이터가 부족해서 데이터를 늘리거나, 2. 불균형데이터의 레이블들의 균형을 잡아주기 위하여 진행하곤 한다. 최근 NLP관련 프로젝트를 하면서 크롤링한 데이터를 팀원들과 일일히 라벨을 붙이고 있는데,, 현대판 인형공장이 따로없거니와, 크롤링 한 데이터에서도 쓸만한 데이터를 거르고 나니 1/10 수준으로 줄어들어 Data Augmentation을 고려하지 않을 수 없었다. 그래서 텍스트 데이터에서 Data Augmentation(이하 DA) 방법이 있는지 궁금해 찾아본 구글링 결과를 정리해보았다. 만약 내가 다루는 데이터가 이미지라면, 위아래, 혹은 좌우로 shift시키거나, 상하좌우를 반전시키거나, 확대, 축소하는 등 쉽고 간단한 방법이 있는데 직관적으로 생.. 이전 1 다음
