GaussianNoise
keras.layers.GaussianNoise(stddev)
Использует аддитивный гауссов шум с нулевым средним.
Это полезно для уменьшения оверфиттинга (можно рассматривать как разновидность случайного увеличения данных). Гауссов шум (GS) является естественным выбором в качестве процесса зашумления для действительных входных данных.
Поскольку это слой регуляризации, он активен только во время обучения.
Аргументы
- stddev: float, стандартное отклонение распределения шума.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Та же форма, что и при вводе.
GaussianDropout
keras.layers.GaussianDropout(rate)
Используется мультипликативный 1-центровый гауссов шум.
Так как это слой регуляризации, он активен только во время обучения.
Аргументы
- rate: float, вероятность выпадения (как в случае с Dropout). Мультипликативный шум будет иметь стандартное отклонение sqrt(rate / (1 — rate)).
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Та же форма, что и при вводе.
Ссылки
- Dropout: Простой способ предотвратить оверфиттинг нейронных сетей. http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf
AlphaDropout
keras.layers.AlphaDropout(rate, noise_shape=None, seed=None)
Применяет Альфа-исключение к входным данным.
Альфа-исключение (Alpha Dropout) — это Dropout, который сохраняет средние и дисперсионные значения входов до их исходных значений, чтобы обеспечить самонормализованное свойство даже после этого дропаута. Alpha Dropout хорошо сочетается с единицами измерения экспоненциальной линейной величины, случайным образом устанавливая значения активации в отрицательное значение насыщения.
Аргументы
- rate: float, вероятность исключения (как с Dropout). Мультипликативный шум будет иметь стандартное отклонение sqrt(rate / (1 — rate)).
- noise_shape: 1-D тензор типа int32, представляющий собой форму для случайно сгенерированных состояний keep/drop.
- seed: Python целое число, используемое для запуска генератора случайных чисел.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Та же, что и форма ввода
Ссылки
- Самонормализованные нейронные сети https://arxiv.org/abs/1706.02515