Reactive Optimizers: динамическое переписывание исходного кода оптимизатора во время обучения нейросетей

Когда ваша модель в третий раз за неделю застревает на плато, а стандартный набор шедулеров бессилен (чувствуете этот экзистенциальный ужас от созерцания бесконечной стагнации loss-функции?), проблем…