#請益 深度學習模型收斂後，BatchNorm的gamma值太相似
各位大大好，小的目前在實作網路剪枝相關演算法，
在訓練完分類任務模型的時候，發現每層的 BatchNorm gamma 值都很相近，
所有的gamma值差異量都非常小，如下圖:
可以看到大部分的值都落在 0.9 ~ 1.2 之間，
幾乎沒有趨近於 0 的 gamma 值，
上述結果與這篇論文 給出 gamma 值的分佈圖天差地別，如下圖:
論文中的 gamma 值呈現變異數較大的高斯分佈，且趨近於0的係數較多，
想請問各位大大，為甚麼我的gamma值會這麼集中，且沒有任何趨近於0的值?
是我哪裡做錯了嗎? 還是這是正常現象?
以下是我用 pytorch 訓練 CIFAR-10 的程式碼:
模型:
訓練:
印出模型 gamma 值:
懇請大大幫幫小弟解惑 ， 感謝各位看完!
