3. 드롭아웃(dropout) 추가

• 신경망을 위해 사용되는 규제 기법중에서 가장 효과적이고 널리 사용된다. (L2 규제보다 효과적)
• 뉴런의 일부를 무작위로 제거하는 노이즈 효과로 과대적합을 감소시킨다.
• 훈련하는 동안 무작위로 모델층의 출력 특성을 일부 제외시킨다. (0으로 만든다.)
• 드롭아웃 비율은 0이 될 특성의 비율이다. (보통 0.2에서 0.5 사이로 지정됨)

IMDB 모델에 dropout 추가하기

• 구현방식

<aside> 🖥️ layer_output *= np.random.randint(0, high=2, size=layer_output.shape) # 훈련할때 유닛 출력중 50%을 0으로 만듦 layer_output /= 0.5 # dropout rate로 나누어 스케일을 높임

</aside>

• 케라스에서는 층의 출력 바로뒤에 dropout 층을 추가하여 드롭아웃을 적용한다.

model = models.Sequential([
    layers.Dense(16, activation='relu'),
    layers.Dropout(0.5),
    layers.Dense(16, activation='relu'),
    layers.Dropout(0.5),
    layers.Dense(1, activation='sigmoid')])

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

history_dropout = model.fit(
    train_data, train_labels,
    epochs=20, batch_size=512, validation_split=0.4)

검증 손실에 대한 드롭아웃의 효과

import matplotlib.pyplot as plt

history_original = history_original.history
history_dr = history_dropout.history
val_loss_ori = history_original["val_loss"]
val_loss_dr = history_dr["val_loss"]
epochs = range(1, len(val_loss_ori) + 1)
plt.plot(epochs, val_loss_ori, "b--", label="Validation loss of original model")  
plt.plot(epochs, val_loss_dr, "b", label="Validation loss of dropout-regularized model") 
plt.xlabel("Epochs")
plt.ylabel("Loss")
plt.legend()
plt.show()