솜이의 데브로그

Sigmoid function 을 network 에서는 Activation function 이라고 많이 부른다. - Layer가 여러 개 있을 때 처음 들어가는 부분은 Input layer 출력 부분은 output layer, 그리고 가운데는 Hidden Layer라고 한다. - Layer가 여러 개 있을때 선행하는 앞 lyaer의 output과 그 바로 뒤의 input이 일치해야한다. Backpropagation (lec 9-2 내용) - 결과 값에 미친 영향을 알기 위해 각각의 값을 미분. 여기서 Sigmoid 함수를 사용하는 경우 : 미분을 사용해 결과에 미치는 정도를 파악하고 출력을 조정. 이 때 Sigmoid 함수를 사용하면 0~1 사이의 값이 출력이 되므로 제대로 된 값을 계산하지 못함. 이를..

Learning rate, 가지고 있는 데이터를 선처리하는 방법, overfitting 방지 방법 - Gradient descent에서 최소값 구할 때 learning rate라는 α값을 임의로 지정함.적당한 learning rate 값을 지정하는 것이 중요하다. Learning rate 값이 너무 큰 경우 : step 이 너무 커져 그래프의 밖으로 튕겨 나갈 수 있다. 이를 'overshooting' 이라 함. Learning rate값이 너무 작은 경우: 경사면을 너무 조금씩 이동해 바닥까지 내려가지 못하는 경우가 발생할 수 있다. => 방지하기 위해 cost 함수를 출력해보고 확인. 기울기가 거의 변하지 않는다면 learning rate을 조금 올려서 확인. -Observe the cost func..

Multivariable linear regression (여러개의 변수 사용) 식을 다음과 같이 바꿔서 사용. 위의 예시는 input이 3개인 경우 hypothesis 식 같은 경우 Cost Function의 식은 이렇게 바꿀 수 있다. variable이 많아 질 경우 식이 너무 복잡해지므로 Matrix 의 곱셈을 이용한다. -> H(X) = XW 각 변수에 대한 인스턴스가 여러개 있어도 matrix를 사용하면 곱셈에 문제가 없다. 더보기 H × W = H(X)H의 행 = instance 개수 (data 개수)H의 열 = variable 수. (변수) H(X)의 행 = instance 개수 H(X)의 열 = Y 값 개수 두가지 값이 주어졌을 때 W의 크기 결정 W의 행 = H의 열 W의 열 = H(X)..

Machine Learning 이란? - 일종의 소프트웨어 프로그램. 프로그램 자체가 data를 보고 학습해서 배워서 응용하는 능력을 갖는 프로그램. ML은 크게 두가지로 나눌 수 있음. Supervised Learning : 정해져 있는 data. Training set을 가지고 학습을 함. Unsupervised Learning : Label 이 정해지지 않은 데이터를 가지고 학습. ex) word clustering, 구글 뉴스 등 Supervised Learning 예시로 이미지 라벨링, 이메일 스팸 필터, 성적 예측기 등이 있음. 기존의 자료가 있어야한다. 여기서 기존의 자료를 'Training Dataset' 이라고 함. Supervised Learning 도 세가지 타입으로 나눌 수 있다. ..