BatchNormalization
keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer=’zeros’, gamma_initializer=’ones’, moving_mean_initializer=’zeros’, moving_variance_initializer=’ones’, beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None)
Слой пакетной нормализации (Иоффе и Сегеди, 2014).
Нормализуйте активации предыдущего слоя в каждой партии, т.е. применяйте трансформацию, поддерживающую среднее значение активации близкое к 0, а стандартное отклонение активации близкое к 1.
Аргументы
- axis: Целочисленная, ось, которая должна быть нормализована (обычно это ось элементов). Например, после слоя Conv2D с data_format=»channel_first», установите axis=1 в BatchNormalization.
- momentum: Момент для скользящего среднего и скользящей дисперсии.
- epsilon: Малый флоут, добавленный к дисперсии, чтобы избежать деления на ноль.
- center: Если True, добавьте смещение бета к нормализованному тензору. Если False, то бета игнорируется
- scale: Если True, добавьте смещение бета к нормализованному тензору. Если False, то бета игнорируется.
- масштаб: Если True, умножьте на gamma. Если False, гамма не используется. Если следующий слой линейный (также, например, nn.relu), это можно отключить, так как масштабирование будет выполняться следующим слоем.
- beta_initializer: Инициализатор для бета-веса.
- gamma_initializer: Инициализатор для гамма-веса.
- moving_mean_initializer: Инициализатор для скользящего среднего.
- moving_variance_initializer: Инициализатор для скользящей дисперсии.
- beta_regularizer: Дополнительный регулялизатор для бета-веса.
- gamma_regularizer: Дополнительный регулялизатор для гамма-веса.
- beta_constraint: Дополнительное ограничение для бета-веса.
- gamma_constraint: Необязательное ограничение для веса гаммы.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Та же форма, что и при вводе.
Ссылки
- Пакетная нормализация: Ускорение глубокого сетевого обучения за счет уменьшения внутреннего ковариационного сдвига