엔트로피 𝑒𝑛𝑡𝑟𝑜𝑝𝑦 대한 이해 딥러닝 기초

  딥러닝 손실 함수 사용할때,  약방의 감초처럼 나오는 엔트로피 함수,   이것을 모르면, 일단 딥러닝을 모른 다 할 정도로 엔트로피 함수는 중요 하다.    딥러닝에서는 손실값을 구할때 사용하는 것으로,  사실상 손실 값을 계산 하지 않으면,  실제로 모델을 실행 시키고 나서 모델의 결과 값을 알수 가 없다.    모형에 대한 평가는 엔트로피 함수 기반으로 한다. 

이것의 기원은 볼츠만의 엔트로피로 부터 나온다. 

 

공식은 S = K log W 이다. 

  불츠만이라는 분은 살아서는 인정을 받지 못하였는데,  죽어서 인정을 받으셨던 분이다.  이것이 있어서  오늘날 통계학이나 인공지능이 많이 발전 했다.  

1. 불츠만의 앤트로피

  통계열역하에서는 기체 분자의 확률 또는 경우의 수를 써서 엔트로피를 나타냅니다. 많은 기체 분자들이 한곳에 몰려 있을 확률보다 골고루 흩어 있을 확률이 높다.  질서 정연하였던 것이 저절로 무질서 해지는 것으로 볼수도 있고, 반대로 균일화 되는 과정으로 이해 할 수 있다. 

블추만은 엔트로피를 기체 분자 거동에서 일어 날 수 있는 경우의 수에 로그를 취한 값으로 정의 했다.  하지만 그가 발표한 로그 공식은 동료 과학자들에게 인정을 받지 못했다. 그가 죽은 후에야 비로스 미시적인 분자 거동으로 부터 거시적인 열역학 현상을 설명하는 이론으로 인정 받게 되었다. 

2. 정보 엔트로피 

  정보에 대한 엔트로피는 놀람(degree of surprise) 정도의 표현이 맞겠다.  fifaonline 게임하다 보면 호나우지뉴하고, 네이마르 같은 브라질 선수가 상대 편에 있으면, 매우 부담 스럽다.   

  브라질과 아르헨티나 경기는 어떻게 되는가?   아니면  브라질과 중국은 어떻게 되는가? 결론적으로 이야기 하면,  브라질과 아르헨티나 어느 쪽에서 좋은 선수가 현역이 있느냐 이다. 사실 경기를 보면 별로 재미가 없다.   그런데 더욱 재미 없는 경기는 브라질과 중국과의 경기인데  거의 일방적으로 브라질이 이긴다.   승리도 예측 되어 있고,   하지만 아래의 경우가 발생 되는 놀람의 정도를  log 로서 설명 할 수 있다. 

   entropy = E(-log P(x))  -> 브라질과 중국과의 경기에서 

• 브라질이 이기는 경우 (사전 확률 : 99%) : -logP(x) = -log(0.99) = 0.01
• 중국이 이기는 경우 (사전 확률 : 1%) : -log(0.01) = 4.6 

   브라질이 중국을 이기는 경우는 정말로 재미 없다.   미리 예상 된 것에다가,  중국이 한골만 먹히고 나면,   그 다음 부터는 계속 무너진다.   한골 먹기 전까지는 중국은 아주 열심히 뛴다.   

  하지만, 중국이 이기는 경우는 엄청 놀랄 것이다.   아마도 중국 축구 역사에 남을 만한 이야기가 될 것이다.

   우리가 알고 있는  사전 확률로만 가지고 계산 하면 아래와 같다. 

• entropy (브라질 VS 중국)  0.99 - log(0.99)+0.01 -log(0.01) = 0.056
• entropy (브라질 50% VS 아르헨티나 50%) : 0.5 * log(0.5) = 0.69314

  중국과 브라질 경기 보다 브라질과 아르헨티나의 경기를 보는 것이 더욱 흥미롭다. 

그러나 실제로 브라질과 아르헨티나의 경기를 보면,  선제골을 넣는 팀이 이기는 확률이 높다. 선제골 넣고,  2번째 쐐기꼴 까지 넣으면,  한쪽이 포기 하게 된다.   그럼 경기가 정말 재미 없어진다.