Спасибо, что написали такую четкую и лаконичную статью.
В поисках философского аргумента о том, как лучше всего связать функции активации, я не могу не думать, что должен быть путь через хаос, который связывает «особенности курса» с «тонкими нюансами». В сочетании с общим ожиданием того, что вычисления сохраняются так же, как сохраняется энергия из-за затрат на восстановление порога, это, по-видимому, означает, что мы движемся через множество вентилей ReLu, управляемых диапазоном, к меньшему числу вентилей Tanh, управляемых средним, и, наконец, через несколько вентилей Sigmoid, управляемых сигмой, к нашему последнему. оценка.
