Stack Building

1. 활성 함수는 왜 쓰는가? 딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달한다. 이때 사용하는 함수를 활성화 함수라고 부른다. 값에 따라 이 값을 활성화할지 비활성화할지 정하는 셈임. 여기서 주로 비선형 함수를 사용하는 이유는 선형함수를 사용할 시 층을 깊게 하는 의미가 줄어들기 때문이다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보세요. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 됩니다. 이는 실은 y(x)=ax와 똑같은 식입니다. a=c3이라고만 하면 끝이죠. 즉, 은닉층이 없는 네트워크로 표현할 수 있습니다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 ..

확률(Probability) vs 가능도(Likelihood) 김진섭June 5, 2016 시작하면서 확률 연속사건의 확률 특정 사건의 확률은 모두 0 특정 구간에 속할 확률: 확률밀도함수(Probability Density Function, PDF) 특정 사건이 일어날 가능성을 비교할 수는 없을까?: 가능도(Likelihood) 사건이 여러 번 일어날 경우에서의 가능도 진실을 찾는 방법: 최대가능도 추정량(Maximum Likelihood Estimator, MLE) 예1: 모양이 일그러진 동전 예2: 나의 실제 키 마치며 시작하면서 본 챕터에서는 가능도(Likelihood) 가 무엇인지 직관적으로 이해하는 것을 목표로 한다. 가능도는 정규분포부터 회귀분석과 최신 인공지능 알고리즘에 이르기까지 통계학의..