LeakyReLU
keras.layers.LeakyReLU(alpha=0.3)
Неплотный вариант скорректированного линейного блока.
Обеспечивает небольшой градиент, когда блок не активен: f(x) = alpha * x for x < 0, f(x) = x for x >= 0.
Форма ввода
- Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
- Та же форма, что и на вводе.
Аргументы
- alpha: float >= 0. Отрицательный коэффициент наклона.
Ссылки
- Нелинейности корректировки улучшают акустические модели нейронных сетей.
PReLU
keras.layers.PReLU(alpha_initializer=’zeros’, alpha_regularizer=None, alpha_constraint=None, shared_axes=None)
Параметрический блок линейной корректировки.
Осуществляется следующим образом: f(x) = alpha * x for x < 0, f(x) = x for x >= 0, где alpha это обученный массив той же формы, что и x.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Такая же, как форма ввода..
Аргументы
- alpha_initializer: функция инициализации для весов.
- alpha_regularizer: регулятор для весов.
- alpha_constraint: ограничение для весов.
- shared_axes: оси, по которым разделяются обучаемые параметры для функции активации. Например, если входящие параметры объектов взяты из двумерной свертки с выходным shape (batch, height, width, channels), и вы хотите совместно использовать параметры в пространстве так, чтобы каждый фильтр имел только один набор параметров, установите share_axes=[1, 2].
Ссылки
- Погружение в rectifiers: превосходство уровня человека по производительности в классификации ImageNet
ELU
keras.layers.ELU(alpha=1.0)
Экспоненциальный линейный модуль ELU.
Осуществляется следующим образом: f(x) = alpha * (exp(x) — 1.) for x < 0, f(x) = x for x >= 0.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Такая же, как и форма ввода
Аргументы
- alpha: шкала негативного фактора.
Ссылки
- Быстрое и точное глубокое сетевое обучение с помощью экспоненциальных линейных модулей (ELU)
ThresholdedReLU
keras.layers.ThresholdedReLU(theta=1.0)
Пороговый скорректированный линейный модуль.
Выполняется следующим образом: f(x) = x for x > theta, f(x) = 0 otherwise.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Такая же, как и форма ввода
Аргументы
- theta: float >= 0. Пороговое место активации.
Ссылки
- Автокодировщики нулевого смещения и преимущества коадаптации функций
Softmax
keras.layers.Softmax(axis=-1)
Функция активации Softmax.
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Такая же, как и форма ввода
Аргументы
- axis: Целое, ось, вдоль которой применяется нормализация Softmax.
ReLU
keras.layers.ReLU(max_value=None, negative_slope=0.0, threshold=0.0)
Функция активации скорректированного линейного блока.
С параметрами по умолчанию, возвращает элемент max(x, 0).
В противном случае, выполняется следующим образом: f(x) = max_value для x >= max_value, f(x) = x для threshold <= x < max_value, f(x) = negative_slope * (x — threshold).
Форма ввода
Произвольно. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включает ось отсчета) при использовании этого слоя в качестве первого слоя в модели.
Форма вывода
Такая же, как и форма ввода
Аргументы
- max_value: float >= 0. Максимальное значение активации.
- negative_slope: float >= 0. Отрицательный коэффициент наклона.
- threshold: float. Пороговое значение для пороговой активации.