Вот пять ключевых технологий для высокоскоростного сетевого вывода. Калибровка весов сети для уменьшения их размерности и перехода от float32 к int8. Динамическое выделение памяти, эффективное использование памяти без перераспределения новой памяти. Объединение слоев и тензоров для оптимизации графа вычислений. Распараллелить выполнение задачи и выбрать свертку. Математические алгоритмы, идеально подходящие для данной платформы GPU.
Оригинальная статья написана Ринатом С.
