目錄
- 過擬合
- Regulation
- 動量
- 學習率遞減
- Early Stopping
- Dropout
過擬合
當訓練集的的準確率很高, 但是測試集的準確率很差的時候就, 我們就遇到了過擬合 (Overfitting) 的問題. 如圖:
過擬合產(chǎn)生的一大原因是因為模型過于復雜. 下面我們將通過講述 5 種不同的方法來解決過擬合的問題, 從而提高模型準確度.
Regulation
Regulation 可以幫助我們通過約束要優(yōu)化的參數(shù)來防止過擬合.
公式
未加入 regulation 的損失:
加入 regulation 的損失:
λ 和 lr (learning rate) 類似. 如果 λ 的值越大, regularion 的力度也就越強, 權重的值也就越小.
例子
添加了 l2 regulation 的網(wǎng)絡:
network = tf.keras.Sequential([
tf.keras.layers.Dense(256, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
tf.keras.layers.Dense(128, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
tf.keras.layers.Dense(64, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
tf.keras.layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
tf.keras.layers.Dense(10)
])
動量
動量 (Momentum) 是指運動物體的租用效果. 在梯度下降的過程中, 通過在優(yōu)化器中加入動量, 我們可以減少擺動從而達到更優(yōu)的效果.
未添加動量:
添加動量:
公式
未加動量的權重更新:
- w: 權重 (weight)
- k: 迭代的次數(shù)
- α: 學習率 (learning rate)
- ∇f(): 微分
添加動量的權重更新:
例子
添加了動量的優(yōu)化器:
optimizer = tf.keras.optimizers.SGD(learning_rate=0.02, momentum=0.9)
optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.02, momentum=0.9)
注: Adam 優(yōu)化器默認已經(jīng)添加動量, 所以無需自行添加.
學習率遞減
簡單的來說, 如果學習率越大, 我們訓練的速度就越大, 但找到最優(yōu)解的概率也就越小. 反之, 學習率越小, 訓練的速度就越慢, 但找到最優(yōu)解的概率就越大.
過程
我們可以在訓練初期把學習率調的稍大一些, 使得網(wǎng)絡迅速收斂. 在訓練后期學習率小一些, 使得我們能得到更好的收斂以獲得最優(yōu)解. 如圖:
例子
learning_rate = 0.2 # 學習率
optimizer = tf.keras.optimizers.SGD(learning_rate=learning_rate, momentum=0.9) # 優(yōu)化器
# 迭代
for epoch in range(iteration_num):
optimizer.learninig_rate = learning_rate * (100 - epoch) / 100 # 學習率遞減
Early Stopping
之前我們提到過, 當訓練集的準確率仍在提升, 但是測試集的準確率反而下降的時候, 我們就遇到了過擬合 (overfitting) 的問題.
Early Stopping 可以幫助我們在測試集的準確率下降的時候停止訓練, 從而避免繼續(xù)訓練導致的過擬合問題.
Dropout
Learning less to learn better
Dropout 會在每個訓練批次中忽略掉一部分的特征, 從而減少過擬合的現(xiàn)象.
dropout, 通過強迫神經(jīng)元, 和隨機跳出來的其他神經(jīng)元共同工作, 達到好的效果. 消除減弱神經(jīng)元節(jié)點間的聯(lián)合適應性, 增強了泛化能力.
例子:
network = tf.keras.Sequential([
tf.keras.layers.Dense(256, activation=tf.nn.relu),
tf.keras.layers.Dropout(0.5), # 忽略一半
tf.keras.layers.Dense(128, activation=tf.nn.relu),
tf.keras.layers.Dropout(0.5), # 忽略一半
tf.keras.layers.Dense(64, activation=tf.nn.relu),
tf.keras.layers.Dropout(0.5), # 忽略一半
tf.keras.layers.Dense(32, activation=tf.nn.relu),
tf.keras.layers.Dense(10)
])
到此這篇關于一小時學會TensorFlow2之大幅提高模型準確率的文章就介紹到這了,更多相關TensorFlow2模型準確率內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- TensorFlow2.0使用keras訓練模型的實現(xiàn)
- 入門tensorflow教程之TensorBoard可視化模型訓練
- TensorFlow2.X使用圖片制作簡單的數(shù)據(jù)集訓練模型
- 如何將tensorflow訓練好的模型移植到Android (MNIST手寫數(shù)字識別)
