JoonoJoono JoonoJoono

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/ 앞선 3개의 챕터에서는 linear regression, shallow network 그리고 deep network에 대해 공부했다. 각 챕터에서 input과 output을 맵핑하는 family of functions를 살펴보았고, 각 family of functions는 파라미터 ϕ\phiϕ 에 의해 결정된다. 이러한 모델들을 학습하는 것은 우리가 풀고자 하는 문제에 대하여 가능한 최선의 “input → output”을 맵핑하는 파라미터 ϕ\phiϕ를 찾는 것이다. 본 챕터에서는 “best possible” 맵핑이 의미하는 ..

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/1. Random variables and probability distributionsrandom variable xxx 는 어떤 값인데, 뭐가 나올지는 모르는 값 (quantity that is uncertain.) 이다. 이는 discrete 할 수도, continuous 할 수도 있다. 만약 random variable xxx의 몇가지 예시들을 본다면, 이들은 모두 그 값이 다를 것이다. 그리고 서로 다른 값을 취할 상대적인 편파도 (relative propensity to tatke different values) 를 ..

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/NotationScalars, Vectors, Matrices and TensorsScalar는 small or capital letters, a,A,αa, A, \alphaa,A,α 로 표현된다. Column vector 는 small bold letters, a,ϕ\bold{a}, \bold{\phi}a,ϕ, 로 표현되며 row vectors는 이의 Transpose 인 aT,ϕT\bold{a^T}, \bold{\phi^T}aT,ϕT 로 표현된다. Matrices, Tensors 는 capital bold, B,Φ\bold..

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/Take Home2개의 SNN을 합쳐놓았을 때, 첫 번째 SNN은 input space를 joints 에 따라 folds 함. 두 번째 SNN은 piece wise linear function (linear transformation) 을 적용하는데 두 번째 SNN을 통과한 함수는 앞서 첫 번째 SNN이 접어놓은 space에 복붙됨.두 개의 SNN을 붙여놓은 DNN은 사실 2개의 hidden layers를 갖는 DNN으로 표현될 수 있음. ReLU activation은 입력을 clipping 하여 새로운 “joints” 를 추가한다..

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/ Chapter 2에서는 1D linear regression 활용한 supervised learning 을 소개한다. 하지만 이러한 모델은 입력/출력의 관계를 하나의 “line” 으로만 표현한다. 본 챕터에서는 이러한 “lines” 는 “piecewise linear funcsion(조각 선형함수?)” 로 표현될 수 있고, 이들은 임의의 복잡한 고차원의 입력/출력의 관계를 표현하기에 충분하다는 것을 보인다.3.1. Neural network ExampleShallow neural networs 는 multivariate input..

본 포스팅은 Simon J.D. Prince 의 Deep Learning 교재를 스터디하며 정리한 글임을 밝힙니다.https://udlbook.github.io/udlbook/1. Introduction Artificial Intelligence: 인지 행동을 모방하는 시스템을 구축하는 학문Machine Learning: 주어진 데이터를 통해 수학적인 모델을 fitting 하여 결정하고록 하는 것을 학습하는 AI의 subset.Deep Neural Network: ML 모델 중에서도 크고 거대한 모델들을 의미함. 앞으로 스터디 하는 동안 다룰 토픽.ML은 크게 3가지의 파트로 구분할 수 있다. Supervised learningUnsupervised learningReinforcement learning..