Thresholding을 통해 backpropagation 정도를 조절하는 함수라고 보면되나. 위 예시에서, x의 값이 0미만일 경우에는 f(x) 값이 0이 된다. 이는 graident가 zero가 되었다는 뜻으로 역전파에서 아무것도 학습하지 못하게 된다. gradients: 도함수 disregarding: 무시. A straight through estimator is a way of estimating gradients for a threshold operation in a neural network. The threshold could be as simple as the following function, As we can see, the derivative of this threshold func..
