Как сделать upscale видео
Обзор Topaz Video Enhance AI. Апскейл видео для ленивых
Наверняка вы видели в сети видео типа Нью-Йорк 40-ых в цвете и 4K. А когда хотели сделать так же со своими видео из детского сада, выяснилось, что нужны какие-то там нейросети. А я расскажу, как сделать это почти в один клик.
Topaz Video Enhance AI — приложение для Windows и macOS, которое легко помогает произвести апскейл видео до 8K без потери качества, а даже с его улучшением.
Теория
При первом запуске приложения вас ожидает экран с обучением из трёх шагов. По сути, для улучшения видео требуется всего три действия: открыть видео, выбрать желаемые параметры, сохранить видео.
И на самом деле именно так просто всё и происходит. Для примера я скачал вот это видео с YouTube в разрешении 480P, и добавил его в Topaz Video Enhance AI.
На следующем этапе нужно задать параметры для апскейла видео.
В разделе Processing можно выбрать одну из шести нейросетей, которая будет обрабатывать видео. В чём разница между ними, я не буду рассказывать — в приложении всё написано.
Setting отвечает за качество видео на выходе. Можно выбрать разрешение в процентах, ввести свои или выбрать значения — вплоть до 8K.
В разделе Format нужно выбрать формат файла на выходе и путь сохранения.
Дополнительно можно обрезать видео и выбрать видеокарту, с которой будете работать.
После настройки всех параметров остаётся нажать Start Processing, и в выбранной папке через какое-то время появится улучшенная версия видео.
Практика
На практике всё не так радужно, и результат полностью зависит от мощности вашего компьютера. Сделать из видео (длительностью даже в 10 секунд) шедевр в 8K на слабом железе не получится ни при каких условиях.
На своём компьютере с Intel Core i7 и 32 Гб оперативы я так и не смог сделать даже апскейла до 1080p. Процесс шёл либо ооооооооочень медленно, либо не шёл вообще, либо постоянно начинался заново.
Вероятно, если бы я занимался этим не для поста на сайте, а для дела, я бы всё-таки добился результата. Но мне лень, поэтому вот вам пример с сайта разработчика.
А сказать, работает ли приложение, я не могу. У меня не получилось…
Обзор программного обеспечения для апскейлинга (улучшение разрешения) в кино/видео
Как ИИ меняет пост-продакшн? Один из способов — использовать машинное обучение для масштабирования видеоматериалов. Ниже посмотритм как с апскайлингом справляются различные программы на базе ИИ (AI).
Апскейлинг или «апрейзинг» — это то, что большинство монтажеров делают каждый день, не задумываясь об этом. Вставьте клип 720p на таймлайн HD 1080p, увеличьте его, чтобы заполнить экран. Проблема в том, что простое масштабирование клипа выглядит плохо, появляются различные артефакты (квадраты). Обычно это выглядит ужасно и мало кому нравится.
Проблема в том, что обычно в проекте используются разные разрешения клипов, особенно при работе с 4K. Возможно, у вас есть архивные кадры с более низким разрешением, или, может быть, однажды одна камера была настроена на неправильное разрешение. Может быть, вы работаете с HD и слышали, что есть преимущества в загрузке 4K на YouTube, и хотите упредить все это. Вопрос в том, можно ли сделать это качественнее, чем просто увеличение? Все NLE (программы монтажа) по умолчанию используют простое масштабирование — это не требует интенсивного использования процессора и поэтому не мешает вашему редактированию. Но когда дело доходит до реализации вашего проекта, какие есть варианты?
Улучшение, Улучшение
Голливуд годами имитировал эффект «увеличения и увеличения», который стал мемом для тех, кто в курсе.
На YouTube у таких людей, как Денис Ширяев, много подписчиков, они восстанавливают старые кадры с помощью различных инструментов, а не только апскейлинга. Его видео « Путешествие по Нью-Йорку в 1911 году » набрало 18 миллионов просмотров.
ИИ/AI для апскейлинга
Когда мы говорим об искусственном интеллекте, существует два типа искусственного интеллекта. Первый, называемый General AI (или AGI), представляет собой настоящий интеллект, подобный человеческому — подумайте о роботе, который действительно может думать самостоятельно. Второй — это узкий ИИ, также известный как машинное обучение, распознавание образов или нейронные сети. Именно это используется для поиска недостающих пикселей. Увеличение или уменьшение масштаба изображений и видеоклипов для воссоздания недостающих пикселей — задача, хорошо подходящая для машинного обучения. Это простая идея, хотя очевидно, что ее довольно сложно реализовать ( см. Этот блог, если вы мне не верите!) — для подачи в компьютерный алгоритм множества пар изображений или клипов — версий одного и того же объекта в низком и высоком разрешении, чтобы он мог узнать, как изображение в низком разрешении «должно» выглядеть при увеличении масштаба (и имейте в виду, что видео просто серия изображений). Как сказал Эрик Чан из Adobe в недавнем блоге о новой функции Enhance в Adobe Camera Raw: «Идея состоит в том, чтобы обучить компьютер, используя большой набор примеров фотографий. В частности, мы использовали миллионы пар фрагментов изображений с низким и высоким разрешением, чтобы компьютер мог понять, как увеличить размер изображений с низким разрешением ». Затем алгоритм учится заполнять недостающую информацию в предоставленных ему изображениях с низким разрешением на основе того, что он узнал, и таким образом добавляет реалистичные детали, которых никогда не было.
Тестирование
Я решил провести два типовых теста, сравнивая различные варианты друг с другом. Конечно, в идеале вы бы протестировали их на разных типах отснятого материала, и я бы посоветовал вам сделать это, если у вас будет время. Я сужу их на глаз и, конечно, это мое субъективное мнение. Различия незначительны, но, на мой взгляд, значительны. Я ищу, чтобы обработанный файл был как можно ближе к оригиналу — с минимальными артефактами, как можно более резким, но без цифровой резкости. Здесь видео и фотография расходятся — скриншоты из фильмов никогда не должны выглядеть столь же резкими, как фотография.
Тест 1 — 2х-кратное повышение разрешения от 1080p до 4K UHD
Я взял 10-секундный клип без оценки из недавней съемки, снятый в разрешении 4K UHD на Blackmagic Pocket 4K. Затем я экспортировал его в 1080p и увеличил масштаб этого клипа до 4K UHD с различными претендентами и смотрю на один кадр из этого клипа. Я использую Adobe Premiere для сопоставления клипов.
А вот точное 100% кадрирование по сравнению с оригиналом с простым 200% увеличением:
original vs simple 200% zoom
А вот таблица лидеров по качеству:
1. Adobe Camera Raw
Для меня новая функция Adobe Enhance в Adobe Camera Raw вышла на первое место в первом тесте, почти не отличимая от оригинала, но, безусловно, худшая с точки зрения рабочего процесса, поскольку она действительно предназначена для неподвижных изображений. Это рабочий процесс по принципу « сделай своего помощника », если он когда-либо существовал. Что бы это ни стоило, это включает в себя сначала экспорт клипа как последовательность изображений TIFF (ACR не может улучшить PNG), затем получение этих изображений в ACR через Bridge или Lightroom, а затем выбор всех из них на диафильме, удерживая option / alt (чтобы скрыть диалоговое окно), щелкнув изображение правой кнопкой мыши и выбрав «Улучшить» (как описано справа внизу блога)), который создает сверхмасштабированную последовательность DNG. Затем пакетное преобразование этого в последовательность TIFF или PNG и пакетное переименование, чтобы в конце были числа, чтобы его можно было правильно импортировать в Premiere. Очень немногие люди будут иметь такое время, но технология захватывающая.
2. Topaz Video Enhance AI
Второе место занимает Topaz Video Enhance AI. В этом двукратном тесте я обнаружил, что Artemis High Quality работает лучше всего. Я обнаружил, что при загрузке видеоклипа он не соответствовал цвету в клипе (не для начала), тогда как с последовательностью изображений это было нормально. Кроме того, это очень и очень медленная работа с аппаратным обеспечением. Он имеет возможность подмешивать небольшое количество зернистости пленки, что хорошо работает.
3. Pixop
На третьем месте был Pixop — на мой взгляд, немного ниже по качеству от Topaz. Однако это модель оплаты по факту использования, и обработка данных выполняется в облаке — и то, и другое подойдет некоторым людям лучше.
4. Topaz Gigapixel AI.
Я поставил Gigapixel AI Topaz (который предназначен для фотографий) на четвертое место просто потому, что я считаю его слишком резким, и я не видел способа отключить его в программном обеспечении, хотя это может измениться в будущих версиях. Я видел, как некоторые люди использовали это для хорошего эффекта с видео.
5. Алхимик (Alchemist)
На пятом месте находится Alchemist, который выполняет довольно приличную работу по апскейлингу, учитывая, что Grass Valley мало чем хвастается, по сравнению с деинтерлейсингом и преобразованием частоты кадров, которыми он известен. Я использовал версию программного обеспечения Alchemist под названием « Alchemist File » (я не знал, что вы можете запустить его на своем компьютере до этого теста!)
У него есть встроенный движок под названием Quasar, в котором говорится, что все дело в апскейлинге, но в моем тесте он был идентичен стандартному движку. Программное обеспечение разработано ( и имеет цену! ) Для работы на магнитофоне в машинном отделении — это то, что у вас есть на почте, и вы платите им за использование.
6. DaVinci Resolve Super Scale
На шестом месте у меня есть функция Super Scale Davinci Resolve (найденная с помощью атрибутов клипа на отдельном клипе), которую я тестировал на версиях 16 и 17, и она была идентична для обеих. Я разочарован качеством, которое дает Resolve, особенно потому, что BMD требует машинного обучения для этого эффекта. Я вижу артефакты вокруг глаз, и это выглядит не очень реально. Тем не менее, это лучше, чем простое масштабирование, и большим преимуществом является гораздо более простой рабочий процесс, если вы заканчиваете в Resolve. А хороший колорист сделает другие вещи, чтобы скрыть артефакты.
7. Повышение разрешения с сохранением деталей в After Effects
На седьмом месте у меня эффект After Effect, сохраняющий детализацию, Upscale, который, если вы заканчиваете в Premiere, имеет такой же простой рабочий процесс, но опять же не конкурирует по качеству, хотя его стоит использовать, а не простое масштабирование.
Тест 2 — 3х-кратное повышение разрешения от 720p до 4K UHD
В этом тесте было задействовано больше программных конкурентов, с 3-кратным зумом, необходимым для повышения разрешения с 720p до 4K UHD. Результаты были аналогичными, но таблица лидеров немного перетасовывалась, и Топаз переместился на вершину.
Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.
1. Topaz Video Enhance AI
Topaz Video Enhance AI был здесь очень впечатляющим с очень полезным изображением даже на 300%. Я обнаружил, что на этот раз пресет Gaia работал лучше, и в целом я считаю, что вам действительно нужно прослушать пресеты для любого конкретного клипа, чтобы увидеть, какой из них работает лучше всего (к сожалению, это очень медленно).
2. Topaz Gigapixel AI.
Несмотря на то, что оно предназначено для фотографий, я обнаружил, что другое программное обеспечение Topaz было вторым лучшим вариантом (и если они предложат возможность отключения элементов управления резкостью, оно может побороться за первое место).
3. Adobe Camera Raw
Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.
4. Алхимик
Здесь наблюдается заметное падение резкости, и вы можете усомниться в пятне номер четыре. Причина, по которой он у меня здесь, заключается в том, что, хотя он и мягче, но по крайней мере не имеет отвлекающих артефактов,
5. Pixop
Хотя он довольно резкий, я обнаружил, что с помощью Pixop артефакты вокруг глаз и на коже отвлекают.
6. Davinci Resolve SuperScale
В том же духе артефакты Davinci Resolve были еще хуже, и мне было трудно выбрать между ним и After Effects.
7. After Effects с сохранением деталей в высоком разрешении
After Effects выходит немного мягче, чем Pixop, но с немного худшими артефактами.
Резюме
В общем, это случай, когда нет боли — нет выгоды. Безусловно, проще всего работать с Davinci Resolve, если вы заканчиваете в нем, и After Effects, если заканчиваете в Premiere. Adobe Camera Raw, вероятно, слишком сложный рабочий процесс для большинства из них. В некоторых машинных залах есть Alchemist в аппаратном или программном обеспечении, и это отличный вариант. Но мне лучше всего смотреть на специальные инструменты AI от Topaz и онлайн-провайдеров, таких как Pixop. ИИ уже дает замечательные результаты, и одна из главных особенностей этого заключается в том, что он должен улучшаться с каждым годом. Эти компании будут тренировать свои алгоритмы каждый день, и самое интересное и пугающее заключается в том, что через некоторое время они будут достаточно умны, чтобы обучать себя.
Автор оригинальной статьи — Nick Lear
Друзья, мы активно развиваем наш телеграм тут — https://t.me/fidller_com
если вам нужно оборудование под заказа — 3д печать, эпл бокс в Краснодаре и всему миру вот ещё наши ресрусы
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Увеличение видео 1080P до 4K, или Как я научился не волноваться и полюбил апскейл с помощью нейросетей
Жаль, что пост — простой перевод, хотелось бы сравнения с чем-нибудь бесплатным, вроде того же waifu2x. Полагаю, разницу найти будет очень сложно, даже несмотря на то, что waifu2x предназначена для анимации.
Ну а раз статья была переводом, я решил взять дело в свои руки. Итак, не будем тратить времени, знакомьтесь:
Сравнивать их мы будем, используя собственные глаза, ведь под разнообразные решения для анализа изображения картинку можно оптимизировать, выиграв «лишние» проценты… Однако, отказываться от последних мы тоже не будем, поэтому к результатам в виде скриншотов будут добавлены результаты анализа MITSU и VMAF, так как обе программы работают с видео без образца. SSIM, PSNR и прочие нам в данном случае не подойдут, ведь у нас нет реального 4К, с которым результаты апскейла можно сравнить.
Содержание:
1. Подготовка материала к тестированию
CPU: Intel Core i7-4980HQ 4.2 ГГц
Материнская плата: MSI Z97 GAMING 5
(не спрашивайте)
ОЗУ: 32 Гб DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, частота ядра установлена вручную на 1923, частота памяти — 5602.
СХД: система и программы на SSD M.2 SATA 850 EVO 250GB, файлы на HDD 2 ТБ WDC WD40EZRZ.
Апскейл производился по следующему сценарию:
После этого, обработанные кадры были отправлены в FFMPEG на сведение, и экспортировались с точно такими же настройками, как и в первом случае.
В обоих случаях, на выходе я получал файл MKV с кодеком FFV1, размером примерно 700 мегабайт на каждые 10 секунд видео.
Video
ID : 1
Format : FFV1
Format version : Version 3.4
Format settings, GOP : N=1
Codec ID : V_MS/VFW/FOURCC / FFV1
Duration : 16 s 475 ms
Bit rate mode : Variable
Bit rate : 618 Mb/s
Width : 3 840 pixels
Height : 2 160 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 23.976 (24000/1001) FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Compression mode : Lossless
Bits/(Pixel*Frame) : 3.107
Stream size : 1.19 GiB (98%)
Default : Yes
Forced : No
Color range : Limited
Color primaries : BT.709
Transfer characteristics : BT.709
Matrix coefficients : BT.709
coder_type : Golomb Rice
MaxSlicesCount : 12
ErrorDetectionType : Per slice
После чего каждый из файлов был открыт в MPC-HC с целью сделать скриншоты, а потом — отправлялся на анализ в ffmpeg с помощью, в очередной раз, bat-файла:
MITSU же, в свою очередь, в настройке не нуждался, готовые bat-файлы требуют небольшой доработки напильником (я указал полные пути до ffprobe и ffmpeg, а также поместил в папку с исполняемым файлом cygwin1.dll).
Полученные данные были импортированы в Excel и превращены в красивые и не очень графики.
FFV1 файлы также были сконвертированы в mp4 с кодеком h265 (для того, чтобы минимизировать размер файлов сохранив максимум деталей) с VBR 25000 кбит\с и отключенным SAO, в надежде достигнуть адекватного качества.
2. Выбор материала для тестирования
В данной статье мы рассматриваем разнообразные примеры: фрагменты из сериала в 1080Р, рисованная анимация и даже 4К видео, снятое на профессиональную камеру, чтобы получить объективные результаты для различных случаев использования рассматриваемых программ.
Были обработаны следующие типы видео:
3. Выбранные для тестирования программы
Изучим каждый из способов апскейла немного детальнее:
Настройки качества: Filter Type — Best, Sharpness 2, Quality 25 (максимум), Anti-aliasing 6. Это стандартные настройки, за исключением Quality — он был установлен на максимум вручную.
Время обработки 914 кадров INTRO: 532 секунды (в 11 раз дольше обычного экспорта).
Способ апскейла: неизвестен («intelligent algorithms»)
Интерфейс плагина Instant 4K в окне программы Adobe Premiere 2019, в верхнем левом углу.
Выбираем целевое разрешение (можно указать свое), выбираем тип фильтра (не вижу причин выбирать что-то отличное от Best), меняем или оставляем стандартным Sharpness (резкость), Quality (качество) и Anti-Aliasing (сглаживание), после чего экспортируем видеофайл и наслаждаемся результатом.
Работает достаточно быстро, практически не нагружает GPU и CPU больше обычного экспорта. Неделю назад был моим стандартным плагином для апскейла видео. Вносит не характерные для простых математических фильтров изменения в детали картинки, поэтому скорее всего является ИИ. По скорости занимает второе место.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): да, в составе плагина Voukoder.
Настройки качества: отсутствует.
Время обработки 914 кадров INTRO: 54 секунды (в 1,13 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.
Способ апскейла: не-ИИ.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.
Настройки качества: имеется параметр «уменьшить шум», установлен на 100%, как и у автора статьи.
Время обработки 914 кадров INTRO: 3840 секунд (в 80 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее их сведение обратно в видео.
Способ апскейла: неизвестен.
Требует начальной настройки в виде создания шаблона «открыть файл — изменить размер — сохранить файл», очень много времени тратит непосредственно на открытие файлов и их сохранение: сказывается выбранный формат кадров — PNG, работает на CPU. Предпоследний по скорости.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.
Настройки качества: Suppress Noise и Remove Blur. Кроме того, возможно включение и отключение «ИИ моделей максимального качества». В нашем сравнении эти модели включены.
Время обработки 914 кадров INTRO: 7680 секунд (в 160 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.
Способ апскейла: ИИ.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.
Настройки качества: под Windows имеется waifu2x-caffe, позволяет выбрать профиль и настроить силу «шумодава» (Off / 1 / 2 / 3). Экспериментальным путем был выбрал профиль UpResNet10, как показывающий наилучший результат. Шумодав установлен на уровень AUTO 1.
Время обработки 914 кадров INTRO: 879 секунд (в 18 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.
Способ апскейла: ИИ. 
Простой интерфейс, работает на GPU, могут возникнуть дополнительные сложности при первоначальной настройке (мне пришлось установить cuDNN, заняло 10-15 минут времени). При желании, можно запустить на CPU. Середнячок по скорости, обгоняет только Photoshop и Topaz.
Это далеко не полный список программ, которые подходят для апскейла видео, и в следующей статье я постараюсь добавить еще больше способов. Предлагайте ваши варианты в комментариях!
↑ Назад к содержанию
4. Переходим, наконец, к рассмотрению видео:
4.1 Файл 1: «INTRO»:
Анимированное сравнение центра кадра: MP4 H.264, WEBP.
Начнем с прицела в центре. Красный квадрат: обращаем внимание на поведение двух пересекающихся линий. Поскольку мы (местами) имеем дело с ИИ, ищем нежелательные искажения. Instant 4K внес в этот квадрат достаточно сильные изменения, за что получает от меня минус в карму. Все остальные методы повели себя примерно одинаково, самый четкий результат – у Photoshop. Topaz – на втором месте. UpResNet10, к сожалению, заметил артефакты сжатия и любезно решил их увеличить. Lanczos же фактически не отличается от обычного увеличения.
Синий квадрат: следим за формой кругов, надеемся на как можно более гладкий круг. Instant 4K снова добавил «отсебятины» и сгладил круг, убрав пропуск в нижней его части. Однако, в этот раз, за это от меня получает плюс. Тем не менее, лучший результат – у Photoshop. UpResNet10 вывел поверх круга слишком много деталей (сетку), что может восприниматься как артефакты.
Анимированное сравнение текста: MP4 H.264, WEBP.
Переходим к тексту: Lanczos сделал его более жирным, за что получает минус. UpResNet10 снова увлекается сеткой, и снова показывает себя хуже конкурентов. Больше всего мне понравился текст, который выдал Topaz. Впрочем, он примерно равен результатам остальных методов – тут уже дело вкуса. Готовых простить Instant 4K за «додумывания» может больше всего удовлетворить выданный им текст, остальные, полагаю, разделятся между Topaz и Photoshop. Последний, на мой вкус, все же «мыльноват».
Смотрим следующий кадр: середина анимации с движением. 
Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
На первый взгляд, картина ожидаемая: все варианты, кроме Lanczos, выдали более четкое изображение. Особое внимание уделим деталям у Topaz, потому что он больше всех изменил картинку. Изучим реального, не нарисованного актера, и детали его одежды, а также текст.
Анимированное сравнение актера: MP4 H.264, WEBP.
Что касается актера, то отличия здесь действительно минимальны: хотя в прошлый раз UpResNet10 и выводил (порой лишние) детали, которые раньше было плохо видно, в этот раз он разве что повысил резкость диагональной сетки снизу. Отличия между Photoshop, Lanczos и Instant 4K реально надо искать под лупой, даже 400% увеличения недостаточно для того, чтобы заметить отличия. В целом, Photoshop и Instant 4K выдали чуть более резкую картинку. Instant 4K снова занимается самодеятельностью – в красном квадрате у актера изменился воротник рубашки. Впрочем, какое-то реальное отличие от просто увеличения заметно разве что у Topaz: поубавился цветовой шум около полос, а также это единственная программа, у которой в синем квадрате наблюдается увеличение резкости.
Анимированное сравнение текста: MP4 H.264, WEBP.
Перемещаемся ниже, к тексту: здесь Photoshop уступил всем остальным способам увеличения и выдал картинку, идентичную Lanczos. UpResNet10 и Instant 4K прибавили резкости, но и внесли немного «отсебятины» в форму букв. Самую четкую картинку снова выдал Topaz, выделив при этом рваность букв (хорошо это или плохо – решать вам) и незначительные артефакты сжатия. Цветовой шум снова уменьшился, а большие буквы сверху не идут в сравнение с остальными способами увеличения.
Последний кадр из отрезка: кадр из сериала с наложенной поверх него компьютерной графикой. 
Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Анимированное сравнение лица актера: MP4 H.264, WEBP.
Мы рассмотрим в увеличении только лицо актера справа: Topaz прибавил резкости и очень хорошо выделил сетку, в результате лицо актера получилось очень четким. Instant 4K и UpResNet10 сделали тоже самое, но убрали меньше размытия (блюра). Photoshop уступил и им, обогнав разве что Lanczos. В целом, никто не потерял никаких деталей, и Instant 4K не внес лишних изменений.
По трем выбранным кадрам, победителем для меня стал Topaz. Несмотря на кучу потерянных деталей в первом кадре, он отыгрался на двух последних. Второе место занял Instant 4K, за более или менее стабильное увеличение резкости во всех трех кадрах, несмотря на незначительные изменения. Третье – за UpResNet10. В первом кадре показал картинку, которая мне не понравилась, но в последних двух выдал хорошее увеличение резкости. Photoshop начал хорошо в первом кадре, но на последних двух почти не отличался от обычного увеличения. Lanczos без шарпинга почти ничем не отличается от билинейной интерполяции на всех трех кадрах.
4.2 Файл 2: “Scene 1”
Анимированное сравнение деревьев: MP4 H.264, WEBP.
Сначала рассмотрим фон, а точнее – деревья: Instant 4K и UpResNet10 показали себя примерно одинаково, добавив немного резкости, в то время как Photoshop, напротив, потерял часть деталей, сгладив картинку. Кроме того, Instant 4K немного исказил деревья (см. красные квадраты). А вот Topaz добавил очень много резкости и сделал из мыльного фона весьма четкие деревья. Lanczos снова не отличается от билинейной интерполяции.
Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Анимированное сравнение актера на фоне деревьев: MP4 H.264, WEBP.
Теперь другой кадр: актер лицом к нам на фоне деревьев.
Спойлер: на деревья смотреть не нужно, они не отличаются. Поэтому изучим бокал в руке актера и его лицо.
Анимированное сравнение лица актера: MP4 H.264, WEBP.
В случае с лицом, Instant 4K и UpResNet10 снова продемонстрировали примерно одинаковые результаты, а Photoshop снова потерял часть деталей. Topaz же этих деталей добавил, хоть и не так много, как в случае с деревьями на фоне. Характерных для Instant 4K артефактов в этот раз не нашлось. Lanczos оказался незначительно более четким, чем билинейная интерполяция.
Анимированное сравнение бокала: MP4 H.264, WEBP.
Ну а в последнем сравнении, стеклянном бокале, в основном отличия были заметны в его прозрачной части без напитка. Topaz снова прибавил больше детализации, чем остальные, Photoshop снова размыл картинку (синий квадрат), а UpResNet10 и Instant 4K опять ведут себя примерно одинаково. Полная повторяемость результата.
Победителем в этом кадре без сомнений стал Topaz, добавив детализации без артефактов (!), второе место занял UpResNet10, который хотя и прибавил немного резкости, однозначно не дотянул до Topaz-а, но и не добавил артефактов, как это сделал занявший третье место Instant 4K. Photoshop занял последнее – не увеличил, а уменьшил детализацию.
Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Анимированное сравнение лица второго актера: MP4 H.264, WEBP.
Последний кадр из того же фрагмента: второй актер.
С деревьями, фонами и бокалами нам все ясно, поэтому здесь изучим лицо актера.
Здесь результат примерно соответствует прошлым кадрам, с одной и очень важной оговоркой: Topaz нарисовал на щеке актера нечто, что я начал замечать на 500% увеличении, а разглядеть это мне удалось лишь на 1000%: весьма неприятную «текстуру», которой там быть явно не должно. Все остальные методы отработали примерно одинаково, лишь Photoshop снова потерял детали (зато избавился от шума на белой рубашке). Последнее место за такую самодеятельность занимает Topaz, предпоследнее – Photoshop, все остальные занимают почетное «первое место».
По результатам рассмотрения всех трех кадров, скрепя сердце, но первое место занимает Topaz. Вероятно, его поведение из последнего кадра можно исправить, но на это у вас уйдет дополнительное время, и немало. Впрочем, эта деталь не очень видна на 100% масштабе, и он прекрасно показал себя в первом сравнении с деревьями, поэтому будет победителем. Второе место – за UpResNet10, за увеличение четкости без артефактов, третье – за Instant 4K, за тоже самое, но уже с артефактами. Последнее место уходит Photoshop за ухудшение четкости картинки.
А что насчет MITSU и VMAF? 
Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше. 
Результат анализа VMAF (полный размер), больше — лучше.
Здесь все примерно так же, как и с первым видео: меньше всего Blur у Topaz, и у него же больше всего шум. Хотя шум в очередной раз не добрался даже до 1 балла, не то что до 3,5, поэтому снова обращаем внимание на размытие, где все перешли границы дозволенных 5 баллов. Здесь заметное улучшение продемонстрировал Topaz, уменьшив Blur почти в два раза, до 6, пока остальные кучкой лежат в районе 10-12 баллов.
По графику VMAF никаких просадок не наблюдается, разве что на графике VMAF Topaz демонстрирует значительно большую неравномерность значений в соседних кадрах, нежели остальные программы. Первое место он отдал Instant 4K, второе – Topaz-у, а третье – UpResNet10.
Таким образом, первое место занимает Topaz, второе — Instant 4K, а третье – UpResNet10.
«Оригинальный» файл FFV1 MKV 1080P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию
4.3 Файл 3: “4K Source”
49МБ каждый).
Третье сравнение будет проводиться следующим образом: исходный файл с разрешением 3840х2160 в формате R3D был экспортирован из Adobe Premiere с тем же разрешением, но с фреймрейтом, уменьшенным со 120 FPS до 23.98 FPS.
После этого полученный FFV1 файл в очередной раз был уменьшен, в этот раз с помощью билинейной интерполяции, до разрешения 1920х1080, после чего полученный файл прогонялся через программу для апскейла и сравнивался с файлом FFV1 в разрешении 4К, то есть сравнение было не с билинейной интерполяцией, как в прошлые разы, а с оригинальной картинкой. Файл короткий, всего 16 секунд, поэтому сравнивать мы будем один-единственный кадр.
Первое отличие, которое бросается в глаза – цвета и яркость изображения. Я несколько раз перепроверил настройки разделения видео на кадры и последующего сбора этих кадров в видео с помощью ffmpeg: результат один – сохранить цвета и яркость неизменными не удалось ни одному алгоритму, даже Lanczos. Впрочем, яркость и цветность изображения в данном случае не играет для нас роли, поэтому смотреть мы будем на четкость изображения, а именно – детали на автомобиле, изображения и отражения.
Анимированное сравнение автомобиля: MP4 H.264, WEBP.
Instant 4K незначительно увеличил резкость всего изображения и дорисовал темное отражение над колесом. Также эту тень дорисовали все другие способы апскейла, что интересно: раньше детали «додумывал» только Instant 4K. Возможно, алгоритмы разглядели то, что плохо видно нам – переход от участка с отражением на корпусе авто. Сильнее всех постарался Topaz, убрав шум по всему изображению (что, вообще-то, не всегда хорошо, ибо часто шум добавляют\оставляют специально) и выделил детали на автомобиле, в том числе изображения. Однако, просто так убрать столько размытия не получится, поэтому во многих местах Topaz нарисовал двойные контуры – особенно на тексте (синий квадрат). UpResNet10 в этот раз разочаровал, увеличив пикселизацию некоторых частей кадра, вероятно, неправильно распознав шум как «фичи» (красный квадрат). Что характерно, похожее поведение наблюдается и у Lanczos, который никакого ИИ не имеет вовсе. Photoshop выступил крепким середнячком, уменьшив шум и не добавив особой пикселизации.
В этом сравнении, победителем для меня в очередной раз стал Topaz, второе место занял Photoshop, третье – Instant 4K.
Перейдём к рассмотрению графиков: здесь мы добавим к рассмотрению графики SSIM и PSNR, поскольку у нас есть оригинал в 4К. 
Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше. 
Результат анализа VMAF (полный размер), больше — лучше. 
Результат анализа SSIM (полный размер), больше — лучше. 
Результат анализа PSNR (полный размер), больше — лучше.
PSNR поставил на первое место Photoshop, SSIM – Lanczos, а VMAF – Topaz. Второе место PSNR и SSIM отдали UpResNet10, в то время как VMAF отдал предпочтение Instant 4K. На третьем месте у нас снова кто во что горазд, и пока PSNR ставит на третье место Lanczos, SSIM отдает его Instant 4K. VMAF – Photoshop. При этом VMAF оценивает каждый кадр Topaz в 100 баллов из 100 возможных – я проверил дважды.
MITSU снова демонстрирует привычную картину, и сообщает нам, что шум на всех результатах практически отсутствует. Что касается размытия, то тут все уже не так хорошо – большая часть апскейлеров сохранили размытость оригинала, от группы оторвались только Topaz и UpResNet10, на 4 и 2 балла соответственно. Оба не смогли добраться до заветных 5, но результат есть.
Из всех четырех метрик, больше всего совпадают с моими впечатлениями показания VMAF и MITSU, а PSNR и SSIM предпочитают «математику» ИИ. По результатам анализа однозначно победителя назвать сложно.
«Оригинальный» файл FFV1 MKV 4K, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию
4.4 Файл 4: “Youtube”
На первом же сравнении в глаза бросается отличие кадра, выданного Instant 4K: он отличается и по цвету, и по яркости. Я несколько раз экспортировал это видео из нескольких версий Adobe Premiere и проверял цветность – Instant 4K настаивал на изменении цвета при любых настройках. Итоговый результат – из версии 2019 с включенным Display Color Management.
Анимированное сравнение лица: MP4 H.264, WEBP.
Без увеличения разница заметна разве что у Instant 4K и Topaz, поэтому посмотрим поближе на лицо.
Lanczos не продемонстрировал никаких улучшений, UpResNet10, как ни странно, тоже. Photoshop уменьшил эффект блочности картинки, который появился в оригинале из-за слишком сильного сжатия, при этом не потеряв деталей. Для анимации такой метод вполне приемлем, мы убираем артефакты без увеличения резкости, в общем и целом картинка становится приятнее. Instant 4K увеличил количество артефактов и изменил цвета, присутствует также незначительно увеличение резкости, которое нивелируется появлением еще большего количества артефактов. Topaz же продемонстрировал именно то, что хотелось бы видеть от всех другие методов: артефакты практически полностью исчезли, как и эффект блочности, а резкость не идет ни в какое сравнение с оригиналом или любым другим способом апскейла. Победителем, однозначно, является Topaz, второе место уходит Phtoshop, третье делят UpResNet10 и Lanczos, потому что они хотя бы не добавили новых артефактов, в отличие от Instant 4K.
Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Переходим ко второму кадру: здесь у нас есть много градиентов с артефактами, а также детали лица, в очередной раз.
Интересно будет посмотреть на то, как все методы апскейла отработали артефакты на градиентах, а также поискать нежелательные изменения. Что касается артефактов на градиенте слева (синий квадрат), на них обратили внимание только Topaz и Instant 4K. В то время как первый практически полностью избавился от этих блоков, Instant 4K снова подвел, изменив цвета и сделав артефакты заметнее., чем у Topaz. Конечно, результат все равно не идет ни в какое сравнение с остальными: там эти блоки цветут и пахнут.
Анимированное сравнение лица: MP4 H.264, WEBP.
В оригинале у нас снова размазня из макроблоков, и мы ожидаем примерно такого же результата, как в прошлом кадре. Instant 4K незначительно подправил переходы между блоками и сделал их более плавными, в то время как Photoshop преуспел в этом хуже, в отличие от первого сравнения. Впрочем, изображение после обработки Photoshop все равно стало чуть приятнее. UpResNet10, к сожалению, опять ударил в грязь лицом и совершенно не улучшил происходящее на экране, практически не отличившись от Lanczos. А вот Topaz в очередной раз прибавил четкости, убрал артефакты и не добавил новых.
Победителем здесь снова выходит Topaz, второе место – за Instant 4K (я уже смирился со сменой цветов), третье – Photoshop.
Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Третий и последний кадр: здесь я специально выбрал кадр потемнее, чтобы увидеть, как все программы будут работать с артефактами на темных участках.
В первую очередь хочу обратить внимание на зеленый квадрат: мы ожидаем от всех апскейлеров уменьшения блочности в этом месте. К сожалению, наши ожидания удовлетворил тишь Topaz, остальные же, включая Photoshop, не сделали артефакты менее заметными. Instant 4K снова стреляет себе в ногу, увеличивая яркость изображения и вытягивая даже те артефакты, которых раньше мы просто не видели. Хочу отметить, что результат Topaz-а на этом кадре мне тоже не очень понравился, я считаю, что он слишком сильно смазал градиенты. Впрочем, за это он убрал практически все видимые огрехи, поэтому сравнивать его с просто не с кем – все остальные, как я уже сказал, на них практически не повлияли.
Анимированное сравнение одежды: MP4 H.264, WEBP.
Поскольку на лица мы уже насмотрелись, рассмотрим крупнее детали одежды: здесь мы наблюдаем настоящий парад макроблоков, особенно на градиентах. К сожалению, в очередной раз, ни один из апскейлеров не сделал картинку лучше, за исключением Topaz, который сгладил все градиенты и практически полностью убрал блочность, за что и занимает по результатам анализа этого кадра первое место. Второе и третье место за этот кадр назначать, как ни печально, некому.
Удивительно, но waifu2x, казалось бы, заточенный под увеличение аниме и рисунков, оказался совершенно не в состоянии реализовать свое преимущество. Для меня это стало сюрпризом.
Сравним мои впечатления с результатами анализа VMAF и MITSU, начав с первого: 
Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше. 
Результат анализа VMAF (полный размер), больше — лучше.
VMAF расположил все способы апскейла практически в обратном моему порядке, на первом месте Lanczos, на последнем – Topaz. У всех наблюдаются частые просадки по качеству, ниже всех по метрике VMAF падает Topaz, причем в самых продолжительных просадках за ним устремляются также и все остальные, кроме Lanczos. При этом я на этих кадрах не увидел ничего необычного.
Ну а MISTU в очередной раз демонстрирует большой отрыв Topaz-а от остальных по метрике Blur, а также незначительную прибавку Noise. Абсолютно все способы апскейла по мнению MITSU сделали картинку более четкой, а Instant 4K даже уменьшил количество невидимого для нас шума.
Первое место, таким образом, занимает Instant 4K, второе – UpResNet10, третье – Topaz.
В этот раз с VMAF я совершенно не согласен.
«Оригинальный» файл FFV1 MKV 720P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию
5. Анализ результатов
Для определения победителя, я воспользуюсь результатами метрики VMAF и субъективными выводами о каждом файле. Метрику VMAF я просто сложу, используя среднее значение из каждого файла. Что касается субъективной оценки, здесь я обращусь к своим выводам о каждом файле, и выдам за каждый файл первому месту 3 очка, второму месту — 2, и третьему — 1. После чего эти очки я складываю и распологаю по вертикали графика.
Результат сложения VMAF и субъективного анализа (полный размер), больше — лучше.
По метрике VMAF победителем оказался Instant 4K, оторвавшись от Topaz, занявшего второе место, всего на 0.58 балла. По субъективному анализу, с другой стороны, дистанция между первым и вторым местом гораздо больше — первое место занял Topaz, оторвавшись от занявшего второе место Intsant 4K на 8 баллов, получил в 3 раза больше очков.
Победителем моего сравнения оказывается Topaz, второе место уходит Instant 4K, а третье — UpResNet10.
Однако, сравнение было бы не полным без сравнения скорости работы программ и моих замечаний к их работе. Начнем с первого: 
Затраченное на обработку время и обьемы полученных файлов (полный размер)
Увеличенная детализация Topaz сказывается даже на размерах файлов, причем значительно. Как правило, файлы Topaz оказываются в 2 раза «тяжелее» файлов остальных апскейлеров, и в 4 раза «тяжелее» оригинальных файлов, увеличенных билинейной интерполяцией. Исключение составляет разве что файл «4K Source», где разница была менее 30%.
Что касается скорости работы программ, то все они, кроме Topaz и Photoshop, работают с весьма приемлемой скоростью. Впрочем, приемлемой для чего?
Что если мы захотим увеличить через Topaz фильм, длительностью в 2 часа, с частотой кадров 25 кадров в секунду? У моего компьютера на такое уйдет 421 час или 17 с половиной дней непрерывной работы. Что насчет сериала продолжительностью 40 минут? 6 дней.
Да, картина с тем же waifu2x несколько иная — 2 дня на фильм, 16 часов на серию. Считаете ли вы результат, продемонстрированный waifu2x, стоящим двух дней непрерывного рендера? На этот вопрос каждому предлагаю ответить самостоятельно.
Месяц назад для апскейла видео я использовал только и исключительно Instant 4K, для изображений (логотипов, иногда фото) waifu2x. Результат, продемонстрированный Topaz, заставил меня добавить его в свою коллекцию программ для апскейла, как минимум для увеличения изображений. Я нередко увеличиваю короткие ролики длительностью меньше 10 секунд, кроме того, он прекрасно увеличивает изображения — как рисунки, так и фотографии.
Возвращаясь к теме фильмов, в случае с Topaz я вижу только один способ решения проблемы: распределение кадров для обработки на несколько машин. 
Topaz AI может работать быстрее. В чем подвох?
Отключение «ИИ моделей высокого качества» сокращает время обработки теоретического фильма на 4 дня, ценой уменьшения точности обработки цветов. Возможно, вам будет интересно знать, что на форуме Topaz многие считают эту «облегченную» модель более качественной. PNG кадры и анимированное сравнение можно посмотреть здесь.
Instant 4K работает с хорошей скоростью и демонстрирует при этом замечательный результат (лучше остальных способов, кроме Topaz, и при этом быстрее, а также банально удобнее).
Lanczos, как и ожидалось, не имеет смысла без дополнительного sharpen фильтра для увеличения резкости.
Photoshop точно не стоит затраченного на него времени, по крайней мере с использованными мной настройками. Может быть, если использовать JPEG и заменить все диски на SSD, можно добиться значительного увеличения скорости обработки.
UpResNet10, в целом, проигрывает Instant 4K. Но если вы не согласны с его самодеятельностью, можно попробовать заменить Instant 4K на UpResNet10. Лично я не считаю артефакты Instant 4K такими заметными. С другой стороны, использовать Instant 4K для увеличения изображений, как минимум странно, да и обычно вовсе неудобно. Поэтому заменить waifu2x с помощью редактора видео можно, но не нужно.
Может ли какой-то из способов апскейла быть назван универсальным? Пожалуй, да. Я думаю, что правильно настроенный Topaz может выдать стабильно лучшую картинку, чем остальные способы апскейла. Но нет бочки меда без ложки дегтя, нельзя забывать о производительности Topaz-а.
↑ Назад к содержанию
6. Новичку, желающему испытать в деле современные программы для апскейла
… я могу в первую очередь порекомендовать Instant 4K, как самый простой в использовании.
Вы просто запускаете программу, импортируете в нее свой файл, создаете из него последовательность «Sequence from Clip», заходите в ее настройки (Sequence Settings) и меняете разрешение на желаемое. После этого перетаскиваете эффект Instant 4K на вашу видеодорожку, настраиваете разрешение и дополнительные параметры и можете начинать экспорт.
К сожалению, чтобы воспользоваться этой программой, вам нужно купить или найти Adobe Premiere, а также сам плагин. Купить все это — весьма серьезное вложение средств, а советовать искать в интернете «вылеченные» программы я не могу.
Adobe Premiere недоволен моим вкусом
Хочу обратить ваше внимание на то, что Premiere работает далеко не со всеми форматами видео, и на немалую часть фильмов из Интернета будет ругаться благим матом. На этот случай, могу только посоветовать конвертировать фильм во что-нибудь вроде ProRes с помощью ffmpeg:
Следующей на очереди будет waifu2x: раскладываем видео на кадры с помощью BAT-файла из раздела «Подготовка материала к тестированию», открываем папку в waifu2x, выбираем параметры (увеличение до разрешения, шумоподавление) и начинаем экспорт. По его окончании вам нужно будет лишь свести кадры и звук в готовое видео. У вас могут возникнуть некоторые проблемы с настройкой, как я уже писал, лично мне пришлось искать cuDNN, кроме того, waifu2x требует достаточно мощной видеокарты.
Если вы по каким-то причинам не можете настроить waifu2x, либо у вас не хватает мощности GPU, обратитесь к Photoshop. В этой статье есть достаточно хорошая инструкция по его использованию.
Если вас удовлетворят эксперименты с изображениями, или у вас очень много лишнего времени, воспользуйтесь триалом Topaz: он будет работать со всеми функциями 30 дней. Как раз успеете до конца испытательного периода увеличить любимый фильм (но это не точно). Требования к мощной видеокарте от waifu2x распространяются и сюда. Кроме того, при использовании Topaz или waifu2x у вас могут возникнуть проблемы в работе с другими, даже простейшими программами, поскольку обе программы норовят занять GPU на 100%, делая интерфейс остальных очень тормознутым. Принцип работы — тот же, что и с waifu2x.
В трех последних случаях, я рекомендую вам заранее отделить звуковую дорожку от исходного видеофайла, любым удобным вам способом. Если это простое видео с Youtube или фильм с одной дорожкой — хорошо, подойдет простейший однострочный BAT-файл. Если же вам «повезло» экспериментировать с фильмом с дорожками 5.1 и несколькими переводами, то подобные случаи выходят далеко за пределы этой статьи. Но кто ищет, тот всегда найдет.
После получения аудио одним файлом и по окончании обработки кадров апскейлером, следует свести звук и видео в один файл.
Остальным — изучить параметры и настройки H.265 (меньше размер и больше качество) и H.264 (быстрее).
Еще варианты скриптов под FFMPEG можно посмотреть в этой статье про апскейл.
↑ Назад к содержанию
7. План на следующую статью и вопросы читателям
В следующей статье я планирую добавить интерактив для субъективного тестирования, чтобы непосредственно читатели оценивали те или иные методы апскейла, для этого собираюсь использовать MSU Video Quality Measurement Tool. Но мне нужно будет понять, могу ли я свободно использовать H.265 и сжать файлы сильнее, или мне придется использовать H.264. Прошу пройти опрос внизу и отметить, может ли ваш ПК воспроизводить H.265 без потерь кадров («лагов»).
Кроме того, я планирую рассмотреть Super-Resolution Convolutional Neural Network model (SRCNN) и Efficient Sub-Pixel Convolutional Neural Network model (ESPCN).