개발 on Nyan101 Blog

[PyTorch] 06. wandb로 학습 진행상황 로깅하기

Sat, 12 Feb 2022 19:37:41 +0900

학습 진행상황 기록하기

이전 글에서 작성한 코드는 tqdm 라이브러리를 통해 “학습이 얼마나 진행되었는가"를 실시간으로 출력했다. 이를 통해 실행이 끝나기까지 막연히 기다리기만 하는 일반적인 코드와는 달리, 각 epoch당 남은 예상시간과 epoch별 train/val loss, accuracy를 출력해 학습이 진행됨에 따라 정확도가 높아지는 모습을 로그로 남길 수 있었다.

[PyTorch] 05. data.Dataset으로 나만의 Dataset 클래스 만들기

Wed, 09 Feb 2022 18:53:27 +0900

자체 Dataset 클래스의 필요성

지금까지의 실습에서는 torchvision.datasets에서 제공하는 데이터셋을 사용했다. torchvision 라이브러리는 vision과 관련된 약 30여개의 데이터셋을 제공하며, 전체 목록은 공식 홈페이지에서 확인할 수 있다.

그러나 실습이나 연구를 진행하다 보면, 기존에 잘 알려진 데이터셋 외에 자신만의 데이터로 학습을 진행해야 하는 상황이 자주 발생한다. 이를 위해 torch.utils.data.dataloader에 넘길 수 있는 나만의 Dataset 객체를 만드는 법을 알아보자.

[PyTorch] 04. validation phase를 추가해 train_model() 함수 작성하기

Mon, 07 Feb 2022 20:38:11 +0900

굉장히 오랜만에 이어지는 포스팅이다… ~~핑거스냅에 당해서 블립(blip) 당함~~

모델 학습에서의 Training & Validation

이전 글에서 작성했던 마지막 코드를 다시 살펴보자. 이전 글에서는 아래 5가지 단계를 거쳤다.

nn.Module을 상속받은 모델 클래스 작성
torchvision.datasets 라이브러리에서 유명 데이터셋(MNIST) 다운로드
torch.utils.data.Dataloader 사용법
모델의 1 epoch 학습 진행
모델의 test 성능 측정

각 단계별로 주요 로직을 정리해 하나의 코드로 합친 결과는 다음과 같다.

[ML] Knockoff Net: 랜덤한 입력으로 다른 모델을 모방할 수 있을까?

Sun, 03 Nov 2019 11:12:33 +0900

발상: Knockoff Nets

어제(2일) 대학원에서 Mario Fritz 박사님의 AI Security에 대한 강연을 들어볼 수 있었다. 딥러닝이 대세가 되면서 등장한 여러 보안 문제들에 대한 특강이었는데, 그중 Model Stealing(구체적으로는 Functionality Stealing)에 대해 다룬 knockoff-net 관련 내용이 흥미로워 pytorch로 구현해보았다. 다만 노트북이라는 한계로 원본 논문보다는 디테일을 다소 단순화했다(…)

[PyTorch] 03. torch.nn 모듈 조립으로 CNN 만들기

Sun, 25 Aug 2019 16:39:46 +0900

예제 dataset 가져오기

지금까지는 \(y=ax+b\)나 \(y=ax^2+bx+c\) 처럼 간단한 형태의 숫자→숫자 함수만을 모델링했으니 이제 좀더 흥미로운 데이터를 살펴보자.

딥러닝, 특히 이미지 인식 관련 예제를 보면 MNIST나 CIFAR-10같은 이름이 많이 등장한다. 이 둘은 Image Classification 문제의 대표적인 예시로 각각 손글씨와 물체 사진 이미지셋에 해당하며, 흔히 모델의 벤치마크 용도로 활용되고 있다. 이번 글에서는 좀더 단순한 MNIST를 사용하기로 한다. MNIST 데이터는 아래와 같이 색이 없는 1채널(=gray scale) 28x28픽셀 이미지들의 모음으로 0에서 9까지 총 10개의 라벨을 가지고 있다.

[PyTorch] 02. nn.Module로 모델 클래스 만들기

Tue, 20 Aug 2019 21:53:17 +0900

학습의 각 단계를 추상화하기

앞서 그래디언트를 이용해 간단한 학습이 이루어지는 과정을 알아보았다. 이전 글의 마지막 코드를 다시 살펴보면 학습의 한 round를 크게 다음과 같은 단계들로 추상화시킬 수 있다.

for i in range(num_adjust):
 # 1) 파라미터를 이용해 입력(xs)으로부터 예상 결과를 생성
 y_pred = a*xs + b
 # 2) 예상 결과(y_pred)와 실제 결과(ys)를 비교해 오차를 계산
 err = ((y_pred - ys)**2).mean()
 # 3) .backward()를 통해 각 파라미터가 오차에 관여하는 정도를 역산
 err.backward()
 # 4) 역산된 grad를 바탕으로 파라미터 수정 
 a.data.sub_(0.01 * a.grad)
 b.data.sub_(0.01 * b.grad)
 # 5) 파라미터들의 grad값을 0으로 초기화
 a.grad.zero_()
 b.grad.zero_()

그런데 이번과 같이 모델이 \(y=ax+b\) 처럼 간단한 형태인 경우 파라미터(a, b)들을 각자 관리할 수 있지만, 복잡한 모델의 경우 이는 상당히 번거로운 과정이 될 수 있다. 흩어진 파라미터들을 통합해 관리한다면 어떤 형태가 가능할지 생각해 보자.

[PyTorch] 01. PyTorch의 기본 구조

Sun, 18 Aug 2019 22:00:21 +0900

요새는 뭘 찾아봐도 딥러닝이 나온다..

성향이 continuous, gradient 같은 거랑은 안 맞아서 최대한 피해보려고 했지만 ~~결국 시대의 흐름에 거스르지 못하고~~ 어떻게 사용하는지 정도는 알아두는게 좋을 것 같아서 정리해봤다.

요구사항(prerequisite)

python에 대한 기초지식
(ex: ABC.xyz()는 클래스/객체 ABC 안에 있는 xyz 라는 함수를 호출하는 것이다)
함수에 대한 개념(규칙에 따라 input → output으로 이어지는 블랙박스로 이해해도 된다)
머릿속 이미지화를 위한 약간의 상상력(?)

tensor 클래스

tensor는 \(n\_1 \times n\_2 \times \cdots \times n\_d \) 개의 숫자를 \(d\)차원으로 정렬한 객체이다. 편의상 예시는 2차원 이하만을 다룰 예정이지만 임의의 차원을 가질 수 있다는 점은 알아두자.