Backup/cs231n 썸네일형 리스트형 cs231n 8강 Localization, detection 위의 classification head 와 regression head로 나눠어서 돌려짐 sliding window에서 대표적인 예로 overfit이 있음alexnet을 응용함classification head에 의해서 스코어을 계산함 둰째에서는 저 window을 옮겨서 점수을 또 냄최종적으로 얻게되는건 저 4개의 박스와 4개의 점수을 얻음이것을 알고리즘을 통해 하나의 박스와 점수을 얻게 됨응용단에서는 수십 수백개의 슬라이딩 윈도우을 함각각의 슬라이딩 윈도우마다 연산을 해야하니까 너무 연산량이 많음그래서 저 뒷단의 fc을 convnet으로 바꿈저 fc단의 vector로 생각하지말고 또 다른 convolution layer의 dimention이라고 생각하자 overfeat이 위에서 봤던 예제 object.. 더보기 cs231n 6강 Training NN part 2 activation function을 통해 nonlinearity을 줘야됨 gradient가 0이 되어버림batch normcross validation 을 통해 최적의 parameter을 찾아나가야됨파라미터 업데이트 하는 부분을 주목해보자단순한 gradient decentsgd는 매우 느림너무 느려서 실제상황에서는 잘 사용안함우리는 지금 저 빨간점이라 하자이 lossfunction이 수직으로는 매우 높고수평으로는 경사가 매우 얕은걸 확인할수있음이떄 경로을 생각해보자수직으로는 경사가 높기때문에 빨리수평으로는 천천히그러다보니 매우 느리게 업데이트됨첫번째로 볼께 모멤ㅌㅁ근본적인 차이는sgd같은경우 x을 직접 업데이트함momentum은 v을 줌v을 한번 업데이트하고v을 통해서 x을 업데이트함이건 마치 언덕에서.. 더보기 cs231n 5강 Training NN part 1 데이터가 엄청 많아야지만 학습시킬수있다?어쩌면 잘못된 생각일수있따.fine tuning을 사용하면 적은양의 데이터로도 학습 가능이미지넷에서 이미 학습된 가중치을 가져와서 우리 모델에 finetuning하면됨제일 왼쪽에 우리 모델에 있고 이 학습된 가중치을 공유해와서 가운데 그림처럼 우리의 데이터에 맞게 위에는 freezing 가중치 고정시켜두고제일 마지막 부분만 clisifier부분만 다시 학습시킴또는 우리가 가지고있는 데이터셋이 아주 작지않지만 충분하지 않으면 고정하는 레이어을 조금 더 줄이면 된다.아랫단 부분만 새로 학습시켜주는게 finetuning예을 들어 카페같은경우 이미 다양한 데이터셋에대해서 학습시킨 가중치들을 업로드 시켜두었음데이터을 처음부터 학습시킬 필요가 없고 공유되어있는 가중치들을 활용.. 더보기 cs231n 7강 CNN 기본적으로 입력을 이미지 처럼 32*32*3의 형태의 볼륨을 받음좀더 잘 살펴보면 5*5*3의 필터을 이미지 위에서 convolution을 시킨다 해서 convolutional layer라 합니다. 저기 밑에 써져있는게 정의라 볼수있는데 필터을 공간적으로 이미지위에 sllide하면서 dot product연산을 해나가는 의미 여기서 주의깊게 봐야할점은 비록 w, h는 32*32 5*5로 작은부분만 커버하지만 depth는 같다그래서 이 필터가 저 볼륜을 쭉 훑다. 계산해보면 저 필터로는 한번씩 훑을때마다 연산을 하고 이것을 75번하고 하나의 dot product을 하게됨.그리고 나서 이 하나의 포인트로 리턴을 함 이렇게 쫙 훝으면 28*28의 activation map이 나오게 됩니다.그래서 기억할건 one.. 더보기 cs231n 4강 Backpropagation and NN part 1 이번시간에는 backpropagation과 NN에 대해서 알아보겠습니다.우리는 f(x)=Wx해서 score 을 구하는법을 알게되었고 이을 통해서 softmax , svm을 통해서 loss을 구하는 방법이을 통해서 data loss와 regularization loss을 합쳐서 전체 loss을 구하는 방법에 대해서 알아보아씀 이을 통해서 알고자했던건 w가 바뀜에 따랑서 loss가 얼마큼 변하는지 파악해 보자는 것이였습니다,즉 dL/dw 을 구해보려했음optimization 은 모라 했죠?L을 최소화하는 즉, L을 최소화 하는 w을 찾아나가는 과정이다이런걸 parameter update라 하고 loss가 최소화 되야지만 비로서 좋은 prediction이 가능하다 gradient을 구하는방법은 Numerica.. 더보기 cs231n 3강 Loss fn, optimization 저번 시간에 배운내용을 복습해보면 컴퓨터비젼에서 여러 첼린지가 있었습니다.변형 은패나 은닉 그리고 배경과 구분이 안되는 object들 처럼 어려 문제가 있습니다.근데 오늘날 기계들을 보면 사람을 넘어서는 이미지 인식 수준을 가지고있습니다.전통적인 방식과는 달리 data driven 방식을 우리는 사용할거고요첫번쨰 방법으로 NN에 대해서 학습을 해봤고또 다른 data driven approach중에 parametrical approach입니다. 이 linear classifer을 보면 고차원 공간에 있는 이미지들 사이에서 class score에 기반해서 구분을 해나가는 과정이라고 해석할수있습니다. 그래서 이번 시간에서는 우리가 score에 대해 어떤 불만족하는 정도를 정량화하는 loss function에 .. 더보기 cs231n 2강 Image classification pipeline 이미지는 classificatoin은 컴퓨터 비젼에 있어서 가장 핵심적인 작업입니다.예를 들어 dog, cat,truck같이 레이블이 있을때 이중에 이 이미지를 보고 이것은 고양이다 라고 판단하는게 image classification이라고 할수있습니다. classification이 가능하면 detection, segmentation, image captioning이 수월해진다고 합니다. 이미지는 기본적으로 숫자로 구성된 3d array.숫자는 0~255사이의 값이 될것이고예를 들어 이 이미지같은경우 800*600*3으로 구성이 되는데제일앞은 height 중간은 width 마지막은 rgb로 이루어짐 그런데 보는 각도에 따라서 이미지가 다르수있고 조명에 따라서 이미지가 다르게 보일수도있고 형태의 변형이 있.. 더보기 이전 1 다음
