자습 on Nyan101 Blog

[PyTorch] 06. wandb로 학습 진행상황 로깅하기

Sat, 12 Feb 2022 19:37:41 +0900

학습 진행상황 기록하기

이전 글에서 작성한 코드는 tqdm 라이브러리를 통해 “학습이 얼마나 진행되었는가"를 실시간으로 출력했다. 이를 통해 실행이 끝나기까지 막연히 기다리기만 하는 일반적인 코드와는 달리, 각 epoch당 남은 예상시간과 epoch별 train/val loss, accuracy를 출력해 학습이 진행됨에 따라 정확도가 높아지는 모습을 로그로 남길 수 있었다.

[PyTorch] 05. data.Dataset으로 나만의 Dataset 클래스 만들기

Wed, 09 Feb 2022 18:53:27 +0900

자체 Dataset 클래스의 필요성

지금까지의 실습에서는 torchvision.datasets에서 제공하는 데이터셋을 사용했다. torchvision 라이브러리는 vision과 관련된 약 30여개의 데이터셋을 제공하며, 전체 목록은 공식 홈페이지에서 확인할 수 있다.

그러나 실습이나 연구를 진행하다 보면, 기존에 잘 알려진 데이터셋 외에 자신만의 데이터로 학습을 진행해야 하는 상황이 자주 발생한다. 이를 위해 torch.utils.data.dataloader에 넘길 수 있는 나만의 Dataset 객체를 만드는 법을 알아보자.

[PyTorch] 04. validation phase를 추가해 train_model() 함수 작성하기

Mon, 07 Feb 2022 20:38:11 +0900

굉장히 오랜만에 이어지는 포스팅이다… ~~핑거스냅에 당해서 블립(blip) 당함~~

모델 학습에서의 Training & Validation

이전 글에서 작성했던 마지막 코드를 다시 살펴보자. 이전 글에서는 아래 5가지 단계를 거쳤다.

nn.Module을 상속받은 모델 클래스 작성
torchvision.datasets 라이브러리에서 유명 데이터셋(MNIST) 다운로드
torch.utils.data.Dataloader 사용법
모델의 1 epoch 학습 진행
모델의 test 성능 측정

각 단계별로 주요 로직을 정리해 하나의 코드로 합친 결과는 다음과 같다.

[ML] Knockoff Net: 랜덤한 입력으로 다른 모델을 모방할 수 있을까?

Sun, 03 Nov 2019 11:12:33 +0900

발상: Knockoff Nets

어제(2일) 대학원에서 Mario Fritz 박사님의 AI Security에 대한 강연을 들어볼 수 있었다. 딥러닝이 대세가 되면서 등장한 여러 보안 문제들에 대한 특강이었는데, 그중 Model Stealing(구체적으로는 Functionality Stealing)에 대해 다룬 knockoff-net 관련 내용이 흥미로워 pytorch로 구현해보았다. 다만 노트북이라는 한계로 원본 논문보다는 디테일을 다소 단순화했다(…)

[PyTorch] 03. torch.nn 모듈 조립으로 CNN 만들기

Sun, 25 Aug 2019 16:39:46 +0900

예제 dataset 가져오기

지금까지는 \(y=ax+b\)나 \(y=ax^2+bx+c\) 처럼 간단한 형태의 숫자→숫자 함수만을 모델링했으니 이제 좀더 흥미로운 데이터를 살펴보자.

딥러닝, 특히 이미지 인식 관련 예제를 보면 MNIST나 CIFAR-10같은 이름이 많이 등장한다. 이 둘은 Image Classification 문제의 대표적인 예시로 각각 손글씨와 물체 사진 이미지셋에 해당하며, 흔히 모델의 벤치마크 용도로 활용되고 있다. 이번 글에서는 좀더 단순한 MNIST를 사용하기로 한다. MNIST 데이터는 아래와 같이 색이 없는 1채널(=gray scale) 28x28픽셀 이미지들의 모음으로 0에서 9까지 총 10개의 라벨을 가지고 있다.

[PyTorch] 02. nn.Module로 모델 클래스 만들기

Tue, 20 Aug 2019 21:53:17 +0900

학습의 각 단계를 추상화하기

앞서 그래디언트를 이용해 간단한 학습이 이루어지는 과정을 알아보았다. 이전 글의 마지막 코드를 다시 살펴보면 학습의 한 round를 크게 다음과 같은 단계들로 추상화시킬 수 있다.

for i in range(num_adjust):
 # 1) 파라미터를 이용해 입력(xs)으로부터 예상 결과를 생성
 y_pred = a*xs + b
 # 2) 예상 결과(y_pred)와 실제 결과(ys)를 비교해 오차를 계산
 err = ((y_pred - ys)**2).mean()
 # 3) .backward()를 통해 각 파라미터가 오차에 관여하는 정도를 역산
 err.backward()
 # 4) 역산된 grad를 바탕으로 파라미터 수정 
 a.data.sub_(0.01 * a.grad)
 b.data.sub_(0.01 * b.grad)
 # 5) 파라미터들의 grad값을 0으로 초기화
 a.grad.zero_()
 b.grad.zero_()

그런데 이번과 같이 모델이 \(y=ax+b\) 처럼 간단한 형태인 경우 파라미터(a, b)들을 각자 관리할 수 있지만, 복잡한 모델의 경우 이는 상당히 번거로운 과정이 될 수 있다. 흩어진 파라미터들을 통합해 관리한다면 어떤 형태가 가능할지 생각해 보자.

[PyTorch] 01. PyTorch의 기본 구조

Sun, 18 Aug 2019 22:00:21 +0900

요새는 뭘 찾아봐도 딥러닝이 나온다..

성향이 continuous, gradient 같은 거랑은 안 맞아서 최대한 피해보려고 했지만 ~~결국 시대의 흐름에 거스르지 못하고~~ 어떻게 사용하는지 정도는 알아두는게 좋을 것 같아서 정리해봤다.

요구사항(prerequisite)

python에 대한 기초지식
(ex: ABC.xyz()는 클래스/객체 ABC 안에 있는 xyz 라는 함수를 호출하는 것이다)
함수에 대한 개념(규칙에 따라 input → output으로 이어지는 블랙박스로 이해해도 된다)
머릿속 이미지화를 위한 약간의 상상력(?)

tensor 클래스

tensor는 \(n\_1 \times n\_2 \times \cdots \times n\_d \) 개의 숫자를 \(d\)차원으로 정렬한 객체이다. 편의상 예시는 2차원 이하만을 다룰 예정이지만 임의의 차원을 가질 수 있다는 점은 알아두자.

[Coq 입문] Ch04. Polymorphism & Higher-Order Functions (2)

Wed, 27 Feb 2019 19:47:20 +0900

High-Order Functions

다른 함수를 다룰 수 있는 함수를 고차 함수(higher-order function)라고 한다.

Definition do3times {X:Type} (f:X->X) (a:X) : X := f (f (f a)).

>> Check @do3times

 : @do3times : forall X : Type, (X -> X) -> X -> X

이 do3times는 함수 f와 인자 a를 받아 a에 f를 3번 적용한 결과를 돌려준다. 함수를 인자로 제공한다는게 어떤 의미인지 살펴보자

>> Definition doubleMe (n:nat) : nat := n+n.
>> Compute do3times doubleMe 3.

 : 24 : nat

Filter

이제 좀더 유용한 고차 함수들에 대해 알아보자. filter는 X타입의 리스트(list X)와 원소 X에 대한 판정함수(predicate, \(f:X\rightarrow bool\))를 받아 주어진 predicate를 만족하는(i.e. true를 리턴하는) 원소들만을 남긴다.

[Coq 입문] Ch04. Polymorphism & Higher-Order Functions (1)

Sun, 17 Feb 2019 22:22:37 +0900

Polymorphic Lists

이전 장에서 natlist, 다시 말해 nat으로 이루어진 리스트에 대해 다뤘다. 마찬가지 방법으로 문자열 리스트, bool 리스트, 리스트의 리스트 등 다양한 리스트를 정의할 수 있다. 예를 들어 bool 리스트는

Inductive boollist : Type :=
| bool_nil
| bool_cons (b : bool) (l : boollist).

로 정의된다.

그런데 매번 새로운 타입의 리스트가 필요할 때마다 (거의) 동일한 정의를 다시 써주는 건 낭비일 것이다. 새로운 타입에 맞게 정의를 다시 쓴다는 말은 단순히 nil이나 cons의 문제가 아니라, length, reverse, append 등 앞서 natlist에서 정의했던 모든 함수를 전부 새로 작성해야 한다는 의미가 된다. 이런 불필요한 중복을 피하기 위해 Coq에서는 다형적(polymorphic) 타입을 지원한다.

[Coq 입문] Ch03. Working with Structured Data (2)

Mon, 11 Feb 2019 22:01:56 +0900

Reasoning About Lists

리스트에 대한 간단한 정리를 증명해보자.

Theorem nil_app : forall l:natlist, [] ++ l = l.
Proof.
reflexivity.
Qed.

대상이 natlist라는 점만 제외하면 이전의 forall n:nat, 0+n=n과 같은 형태이다. nat에서와 마찬가지로 natlist도 destruct를 통해 생성규칙에 따라 경우를 나눌 수 있다.

Theorem tl_length_pred :
 forall l:natlist, pred (length l) = length (tl l).
Proof.
intros l.
destruct l as [| n l'] eqn:E.
- (* l = [] *)
 reflexivity.
- (* l = n::l' *)
 reflexivity.

마찬가지로 수학적 귀납법(induction tactic) 역시 적용 가능하다. nat에서의 귀납법과 마찬가지로 base step과 induction step으로 이루어져 있으며, 각각

[Coq 입문] Ch03. Working with Structured Data (1)

Sat, 09 Feb 2019 15:33:11 +0900

본 챕터에서는 Structured Data, 그중에서도 List에 대해 다룬다.

Pairs of Numbers

지난번 nybble을 정의할 때 언급했듯이, Coq의 생성자(constructor)는 여러 개의 인자를 받을 수 있다.

Inductive natprod : Type :=
| pair (n1 n2 : nat).

이렇게 정의된 natprod에는 오직 하나의 생성규칙만 존재한다.(ex: pair 3 5)

[Coq 입문] Ch02. Proof by tactics (2)

Sun, 03 Feb 2019 22:16:28 +0900

Proof by Case Analysis

다뤄야 하는 대상이 복잡해지면 simpl이나 rewrite만으로는 충분하지 않은 경우가 있다. 잠시 예전 글에서 정의했던 is_equal을 가져오면서 여기에 새로운 Notation을 추가하자.

Fixpoint is_equal (n m : nat) : bool :=
match n with
| O => match m with
 | O => true
 | S m' => false
 end
| S n' => match m with
 | O => false
 | S m' => is_equal n' m'
 end
end.

Notation "x =? y" := (eqb x y) (at level 70) : nat_scope.

이제 거의 비슷하게 생긴 다음 두 명제를 증명해보자.

[Coq 입문] Ch02. Proof by tactics (1)

Fri, 01 Feb 2019 20:15:17 +0900

이제 Coq를 이용해 간단한 증명을 직접 작성해보자.

Notation

본론을 시작하기에 앞서 전에 만들었던 plus, mult 에 infix notation을 정의하자.

Notation "x + y" := (plus x y)
 (at level 50, left associativity)
 : nat_scope.
Notation "x * y" := (mult x y)
 (at level 40, left associativity)
 : nat_scope.

이전에 bool에 대해 x && y 를 정의하던 때보다 뭔가 이것저것 늘어났다. prefix, postfix notation과는 달리 infix notation에서는 모호한(ambiguous) 문장이 생길 수 있다. 일반적으로 (x+y*z)라는 표현식을 쓸 때 우리는 ((x+y)*z)가 아닌 (x+(y*z))를 의도한다. 위 코드에서의 역할을 간단히 요약하면

[Coq 입문] Ch01. Functional Programming in Coq (2)

Thu, 31 Jan 2019 20:01:32 +0900

Define Numbers

이전 글에서는 day, bool, color 와 같이 원소의 개수가 유한한 타입, 다시 말해 타입 \(T\)에 대해 \(\{x \| x \mathrm\{\,has\,type\,\}T\} \)가 유한집합인 경우만을 다뤘다. 무한한 원소를 가지는 타입을 정의하려면 어떻게 해야 할까? 집합론에서와 마찬가지로 자연수에서 시작해보자. 페아노 공리계(Peano axioms)에서 필요한 부분을 빌려오자. 크게 중요하지 않은 공리들은 생략했다

[Coq 입문] Ch01. Functional Programming in Coq (1)

Tue, 29 Jan 2019 00:47:23 +0900

Introduction

여기서는 Coq에서 사용되는 Galina라는 functional programming language의 기초적인 사용법과, Coq에서 증명에 실제 활용되는 기초적인 tactic에 대해 다룬다.

Data and Functions

Days of the Week

먼저 Coq에서 타입을 선언하는 법을 알아보자. 모든 Coq 구문은 .(마침표)로 끝남에 유의하자

[Coq 입문] Ch00. Overview

Mon, 28 Jan 2019 21:02:16 +0900

Coq를 공부해보겠다는 막연한 목표와 함께 이런저런 자료를 찾아보고 그만두기를 반복하던 중, DeepSpec Summer School 세미나에서 나온 영상을 발견했다. 유투브에서 찾은 다른 영상들이 4,5년 전 자료였던 반면 DeepSpec에서는 최근인 2017, 2018년까지 꾸준히 학습자료와 세미나 영상이 업로드되고 있다.

사실 예전 LaTeX을 익힐 때에도 이것저것 찾아보기만 하다가 결국 학교 과제를 LaTeX으로 작성해보고서야 익숙해졌는데, 이번에도 실 사용 없이 공부하는게 얼마나 갈지는 잘 모르겠다.. 자료 초반에 “All the core chapters are suitable for both upper-level undergraduate and graduate students.” 라는 말이 있던데, ~~물론 저런 말들이 다 그렇듯이 전부 거짓말이겠지만~~ 이젠 undergraduate 신분이라는 핑계도 사라졌으니 좀더 확실히 짚고 넘어가야겠다는 생각도 든다.