sigmoid_cross_entropy_with_logits, weighted_cross_entropy_with_logits, softmax_cross_entropy_with_logits, sparse_softmax_cross_entropy_with_logits 비교

• sigmoid_cross_entropy_with_logits
  • sigmoid and then cross entropy
  • scalar를 반환함
• weighted_cross_entropy_with_logits
  • sigmoid and then cross entropy plus positive weight
  • positive weight란, cross entropy에서 positive label에 부여한 weight로
    • 1보다 크게주면 학습 중 positive인 것에 대한 loss를 가중치를 주어 positive인 것은 일단 잘 맞추게 하는 방식, 즉 recall을 올리는 방식
    • 1보다 작게주면 그 반대로, precision을 올리는 방식
• softmax_cross_entropy_with_logits
  • softmax and then cross entropy
  • label이 꼭 one-hot일 필욘 없음, 확률 분포여도 사용 가능(즉, 0이상이고 전체 합이 1)
• sparse_softmax_cross_entropy_with_logits
  • softmax and then cross entropy
  • label이 one-hot이 아닌 index integer를 받음, 그 외는 softmax_cross_entropy_with_logits와 같음