Следующие поколения будут смотреть на нас с помощью цветных видеороликов высокого разрешения. А вот образы наших бабушек и дедушек мы храним чаще всего в виде пожелтевших и потрескавшихся черно-белых фотографий. Они передают окружение и дух того времени, но ему явно не хватает красок. А ведь они могли бы играть важную роль, но фотограф физически не мог передать их нам.

А ведь теперь уже невозможно точно воспроизвести условия, в которых совершался снимок. Можно лишь попытаться добавить цвет в фотографию и попытаться представить, что видел автор снимка в этот момент. Это сродни настоящему волшебству и путешествию сквозь время.

Теперь придать красок историческим снимкам или, например, своим детским (или родительским) фотоальбомам может каждый желающий.

Как сделать черно-белое фото цветным на онлайн-сервисе Сolourise

Программисты и аналитики сингапурской компании GovTech запустили проект Сolourise на основе искусственного интеллекта для колоризации классических старых фотографий. Команда поставила себе цель – создать изображения с правдоподобными цветами. Но никто не сможет дать гарантии, что новая фотография в точности отображает фактическое положение дел на снимке. Надо сказать, что колоризация является активно изучаемой областью. Можно вспомнить хотя бы раскрашенные в России классические черно-белые фильмы, получившие вторую жизнь. Идеальным результат быть не может – одни фотографии лучше поддаются обработке, а другие – хуже. Нравится новое фото тоже не всем.

Создатели сервиса гарантируют, что загруженные пользователями фотографии не будут предоставляться третьей стороне. Немного расскажем о том, как появился на свет этот интересный сайт.

Ручная колоризация фотографии является очень трудоемким процессом. Специалисту необходимо сперва детально изучить исторический, культурный и географический контекст работы и подобрать соответствующие требуемые цвета. Затем черно-белое фото раскрашивают с помощью программ. Чаще всего это обычный Photoshop. Такова очень упрощенная схема. Аналогично свои задачи решает и компьютерная программа. Она должна идентифицировать объекты на черно-белом фоне и определить для них приемлемый цвет с учетом прошлого опыта. Затем происходит раскраска.

Команда из Сингапура использовала методику глубокого обучения Generative Adversarial Networks (GAN). В нее входит одна нейронная сеть с миллионами параметров, пытающаяся предсказать значения цвета для разных черно-белых пикселей на основе особенностей изображения и другая, пытающая определить фотореалистичность сгенерированных цветов по сравнению с аналогичными фотографиями. Модель продолжает самообучение до тех пор, пока генератор создает «поддельные» цвета.

Для обучения модели был использован набор из 500 тысяч старых доступных фотографий и множество графических процессоров NVIDIA V100. Для улучшения результатов была задействована открытая библиотека изображений от Google. Это помогло обработать части тела, с которыми оригинальная модель плохо работала: руки, ноги, трудно идентифицируемые конечности. Помощь Google увеличила и скорость обучения.

Первоначально модель работала на локальном кластере внутри офиса – доступ к ней имела лишь команда разработчиков. Чтобы результат был виден всем, потребовалось веб-приложение, через которое сервис мог бы получать запросы снаружи. В качестве облачного провайдера была выбрана платформа Google. Она позволяет защититься от атак, хранить и кэшировать статический контент, балансировать и распределять нагрузку.

Этап окрашивания требует значительных вычислительных мощностей и занимает около 3 секунд. Задачей постановки запросов в бэкенд занимается NGINX-сервер. Он может попросить пользователя повторить попытку позже, если частота входящих запросов превышает скорость работы внутренних служб. Ключевым моментом архитектуры является автоматическое масштабирование виртуальных машин в зависимости от объема трафика. Это позволяет экономить средства, так как дополнительные мощности активируются только в случае запроса на них.

Сервис Colourise хорошо себя показал на изображениях с высоким разрешением, на которых значительную часть фотографии занимают люди. Хорошо справляется и с пейзажами. Итоговые изображения выглядят правдоподобно, если на них есть объекты, присутствующие в обучающем наборе. Модель правильно определяет их и раскрашивает нужным образом.

А вот если на фотографии оказывается нечто нераспознанное, может получиться забавный эффект окклюзии. В компьютерном зрении это важная проблема, связанная с трудностями идентификации частично показанных объектов.

Другие аналогичные сервисы: Algorithmia и Колор

Сервис Colourise уникальным не является, его конкурентом является хотя бы знаменитый Algorithmia. Есть своя разработка под названием Колор и у Артемия Лебедева. Разнообразие вариантов играет на руку нам, пользователям – всегда можно выбрать наилучший результат от того или иного ресурса.

Здесь же необходимо отметить и сервис Paintschainer, который отлично подойдет для автоматического раскрашивания различных рисунков, скетчей, набросков и других изображений.

Как сделать черно-белое фото цветным прямо на iPhone или iPad

Для этого необходимо лишь иметь iPhone или iPad с установленной на нем iOS 10 или более свежей версией ОС. Далее, необходимо скачать из App Store приложение Spectrum (ссылка размещена ниже), загрузить на устройство нужные черно-белые изображения (или сделать ч/б фото при помощи камеры) и приступить непосредственно к процессу колоризации. 

Разукрасить снимок в Spectrum проще простого – программа делает все автоматически, используя комплекс алгоритмов для определения границ областей и подбора цветов для них. Пользователю остается лишь водить специальным вертикальным разделителем по фотографии и наслаждаться магией преображения цвета.

Получившееся в результате изображение можно сразу же сохранить в Фотопленку, а также отправить в социальные сети (Instagram, Facebook) или переслать друзьям в сообщении.

Примеры, сделанные нами:

Скачать Spectrum для iPhone или iPad (App Store)