로지스틱 손실함수 L과 a미분하기 야나두 딥러닝 강의 후기

   야나두 딥러닝 강의 할때  순간 당황해서 실수한 것이다.  로지스틱 손실 함수 L과 a 미분하기 공식은 수학 적으로는 꽤 복잡해 보인다.   한번 당황하다 보니,  계속 당황 해서 점심시간 까지 당항 스러움이 있었다.  지금은 어느 정도 정리되었다.  


그럼  당황했던 내용으로 들어가 보자.

 

로지스틱 손실 함수 미분하기


  특히 위에 형광색 부분이 매우 헤깔 렸는데,   분수 계산식을 알면 매우 간단한 문제 였다. 

https://mathsolver.microsoft.com/ko  수학이 헤깔리면  옆에 있는 사이트에 가서 확인 하면 어려움 없이 증명 할 수 있다. 

 다항함수 미분

   분수는 - 1 승이 되므로, 아래와 같이 식을 정리 한다.  

 $${ \partial L \over  \partial Z } = { \partial  \over  \partial Z} ({ 1  \over  1+e^z  })     =    { \partial  \over  \partial Z} ( 1+ e^2)^{-1} $$

  미분할때는 다항함수 미분이므로 겉미분 하고 속미분을 해주어야 한다. 

   1.  겉미분   -1이 앞으로 가고 -1승이 더해지면 아래 식과 같다.
      $$ -(1+e^{-z})^{-2} $$

   2. 속미분  편미분이기 때문에 z 에 대해서    $ e^{-z} $ 값 만 미분하면 된다.
       $$ (-e^{-z}) $$

   3. 이 둘을 곱하면 아래와 같이 된다. 
        $$ -(1+e^{-z})^{-2}  (-e^{-z})   $$


방정식 정리 

   위의 식 3을 분수로 정리하면  음수 값이 양수가 되어 분모가 된다. 
      $$ {  (-e^{-z})    \over  (1+e^{-z})^{-2}    }  $$

  이 수식을 풀면 아래와 같이 되는데  여기에서 많이 헤깔렸다.  https://mathsolver.microsoft.com/ko  홈페이지에서 검증 하면된다. 



분수 방정식 계산

  위 그림을 응용을 하게 되면  아래의 식이 나온다.  $1+e^{-z}$ 는 둘로 나누어지고, $ e^{-z}$는 남게 된다.
   $$  {  1  \over 1+e^{-z}  } {  e^{-z} \over 1+e^{-z}  }  $$

맨 마지막에서 버벅 되었는데 생각 해보면 어렵지 않다. 

$$  { e^{-z} \over 1+e^{-z} } =  {1+e^{-z} \over 1+e^{-z}}  - {  1   \over 1 +e^{-z} }   $$

이걸을 풀면  $1 - {  1   \over 1 +e^{-z} }$ 이 된다.


마지막으로 정리 하면  로지스틱 함수는 a =  $  {  1   \over 1 +e^{-z} }$  이므로  마지막으로 유도 된 식에서 a를 치환하면 아래와 같은 간단한 공식이 된다. 
     $$  { 1   \over 1 +e^{-z} } (1-  {  1   \over 1 +e^{-z} }) = a(1-a) $$

사실 로지스틱 손실 함수는 이 부분이 가장 복잡해 보이는 계산 식인데,  차근히 보면 어렵지 않다. 

참고서적 :  Do It! 정직하게 코딩하며 배우는 딥러닝 입문
    

.


댓글 없음:

댓글 쓰기

[주식 클로드 자동매매 프로젝트] 제2편. 데이터 인프라 구축 — 모델보다 데이터가 먼저다

 머신러닝 모델을 이야기하기 전에, 그 모델이 먹는 데이터가 어디서 어떻게 왔는지부터 정직하게 밝혀야 한다. 이 프로젝트에서 가장 많은 시간이 들어간 부분은 화려한 모델 튜닝이 아니라, "내가 정말 그 데이터를 갖고 있는가"를 확인하...