Для более стилизованного эффекта видеосъемок команда проекта Крепости России запустила обработку отснятого материала через нейросети EbSynth и Kaiber. Через первую нейросеть покадрово мы «отчищаем» зеленый фон и делаем его более ярким и контрастным, чтобы в дальнейшем при добавлении героев на панорамы фон мог с легкостью удалиться в видеоредакторе. После этого каждый ролик проходить через Kaiber— нейросеть, позволяющая придать тот или иной стиль для видео.
Как же работает нейросеть? Нейросеть анализирует видеоролик, разбивая его на множество кадров. Затем она создаёт временную шкалу, на которой отображены ключевые моменты. Далее алгоритмы генерируют изображения, которые похожи на кадры из видео. Таким образом, обработка видео через нейросеть позволяет создавать уникальные и интересные видеоролики без необходимости снимать их самостоятельно. Однако, существует ряд проблем, при работе с нейросетями:
– ошибки в распознавании объектов и действий. Нейросети могут ошибаться при распознавании объектов и действий в видеороликах, что приводит к неправильной генерации контента. Распространенная проблема состоит в том, что нейросети слабо работают с лицами, кистями рук, сложными одеждами и украшениями.
– качество видео. Нейросети могут генерировать видеоролики с низким качеством изображения и звука. Это связано с тем, что для создания видео требуется большое количество данных и вычислительных ресурсов.
– ограниченность по длительности ролика. Нейросети могут генерировать короткие видеоролики, так как им сложно работать с длинными последовательностями кадров.
Поэтому нейросеть является лишь помощником, а не основным источником контента для видео. Нейросети не способны воссоздать нужный ракурс, кадр, особенности движений и мимики, а также атрибуты одежды. Для нашего контента мы лишь накладываем получившиеся результаты «стилизации» поверх наших съемок, с прозрачностью в 40-50%.