Проект «Яркая память»: опыт использования нейросетей для колоризации черно-белых фотографий::Журнал СА 1-2.2018
www.samag.ru
Журнал «БИТ. Бизнес&Информационные технологии»      
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Подписка
Архив номеров
Где купить
Наука и технологии
Авторам
Рекламодателям
Контакты
   

  Опросы
  Статьи

Мобильные приложения  

Искусственный интеллект в мобильных приложениях: возможности и перспективы

Обзор современных применений ИИ в мобильных приложениях, анализ перспектив развития этой технологии,

 Читать далее...

ИТ-образование  

Как сделать ИТ-образование эффективным?

Эксперты ИТ-отрасли отвечают на вопросы «СА». Обсуждаем ключевые аспекты для улучшения образовательных

 Читать далее...

Work-life balance  

Как айтишнику найти баланс между работой и личной жизнью?

Обсуждаем инструменты для эффективного управления временем, снижения уровня стресса и достижения гармонии. На

 Читать далее...

Книжная полка  

Всё самое нужное – под одной обложкой

Отличительная черта книжных новинок, выпущенных недавно издательством «БХВ» – это их универсальность. Не просто

 Читать далее...

ИТ-инфраструктура  

Системы мониторинга ИТ-инфраструктуры-2025

Без мониторинга ИТ-инфраструктуры не обходится ни одна компания, хотя бы потому, что

 Читать далее...

Открытое ПО  

Безопасность Open Source: рискуем или контролируем?

Компания «Кросс технолоджис» изучила, как используется ПО с открытым кодом в компаниях

 Читать далее...

Работа с нейросетью  

Скажи, есть ли у тебя AI, и я скажу, кто ты

Недавно сервис по поиску работы SuperJob выяснил, что каждый второй россиянин уже

 Читать далее...

Работа с Debian  

О Linux с любовью или Debian: через знание к любви

Конечно, одним лишь перечислением замечательных качеств любовь к Linux не возникнет. Для

 Читать далее...

Опрос  

Защита личных и клиентских данных: как мошенники используют ИИ и как защититься?

По данным RED Security, общее число кибератак на российские компании в 2024

 Читать далее...

Опрос  

Облачные инструменты для разработчиков

Эксперты ИТ-отрасли отвечают на вопросы «Системного администратора» > Как с помощью облака сделать

 Читать далее...

Опрос  

Рынок мобильных приложений: что будет актуальным в 2025 году?

Эксперты ИТ-отрасли отвечают на вопросы «Системного администратора» > Ваши прогнозы: чего ожидать от

 Читать далее...

Рынок труда  

Как успешно пройти все этапы собеседования на ИТ-должность?

По оценкам государства, дефицит ИТ-специалистов составляет от 740 тысяч до 1 миллиона

 Читать далее...

Спецпроект «Базальт СПО». Развитие Open Source в России  

Алексей Смирнов: «Сейчас трудно найти программный продукт, в котором нет свободного кода»

Какое будущее ждет свободное ПО? Влияет ли свободная или несвободная разработка на

 Читать далее...

Спецпроект «Базальт СПО». Развитие Open Source в России  

Николай Костригин: «Мы создали Hantis, конвейер автоматизации. Проекты, исследуемые разными инструментами, переходят от одного исполнителя к другому, развиваются, возвращаются к автору, и так по кругу»

О том, как идет работа по повышению безопасности отечественного программного обеспечения, рассказывает

 Читать далее...

1001 и 1 книга  
19.03.2018г.
Просмотров: 7850
Комментарии: 0
Машинное обучение с использованием библиотеки Н2О

 Читать далее...

12.03.2018г.
Просмотров: 8120
Комментарии: 0
Особенности киберпреступлений в России: инструменты нападения и защита информации

 Читать далее...

12.03.2018г.
Просмотров: 5468
Комментарии: 0
Глубокое обучение с точки зрения практика

 Читать далее...

12.03.2018г.
Просмотров: 3476
Комментарии: 0
Изучаем pandas

 Читать далее...

12.03.2018г.
Просмотров: 4273
Комментарии: 0
Программирование на языке Rust (Цветное издание)

 Читать далее...

19.12.2017г.
Просмотров: 4274
Комментарии: 0
Глубокое обучение

 Читать далее...

19.12.2017г.
Просмотров: 6814
Комментарии: 0
Анализ социальных медиа на Python

 Читать далее...

19.12.2017г.
Просмотров: 3628
Комментарии: 0
Основы блокчейна

 Читать далее...

19.12.2017г.
Просмотров: 3901
Комментарии: 0
Java 9. Полный обзор нововведений

 Читать далее...

16.02.2017г.
Просмотров: 7788
Комментарии: 0
Опоздавших не бывает, или книга о стеке

 Читать далее...

17.05.2016г.
Просмотров: 11142
Комментарии: 0
Теория вычислений для программистов

 Читать далее...

30.03.2015г.
Просмотров: 12877
Комментарии: 0
От математики к обобщенному программированию

 Читать далее...

18.02.2014г.
Просмотров: 14642
Комментарии: 0
Рецензия на книгу «Читаем Тьюринга»

 Читать далее...

13.02.2014г.
Просмотров: 9575
Комментарии: 0
Читайте, размышляйте, действуйте

 Читать далее...

12.02.2014г.
Просмотров: 7543
Комментарии: 0
Рисуем наши мысли

 Читать далее...

10.02.2014г.
Просмотров: 5825
Комментарии: 4
Страна в цифрах

 Читать далее...

18.12.2013г.
Просмотров: 5017
Комментарии: 0
Большие данные меняют нашу жизнь

 Читать далее...

18.12.2013г.
Просмотров: 3870
Комментарии: 0
Компьютерные технологии – корень зла для точки роста

 Читать далее...

04.12.2013г.
Просмотров: 3549
Комментарии: 0
Паутина в облаках

 Читать далее...

03.12.2013г.
Просмотров: 3785
Комментарии: 1
Рецензия на книгу «MongoDB в действии»

 Читать далее...

Друзья сайта  

 Проект «Яркая память»: опыт использования нейросетей для колоризации черно-белых фотографий

Архив номеров / 2018 / Выпуск №1-2 (182-183) / Проект «Яркая память»: опыт использования нейросетей для колоризации черно-белых фотографий

Рубрика: Карьера/Образование /  Пятая пара

Без фото ВСЕВОЛОД ВИКУЛИН, студент 6-го курса ВМК МГУ имени М. В. Ломоносова (кафедра математических методов прогнозирования), сотрудник проекта Поиск Mail.Ru Group

Без фото БОРИС КОПИН, выпускник аспирантуры ВМК МГУ имени М. В. Ломоносова (кафедра математических методов прогнозирования), сотрудник компании Blackmoon

Без фото ДЕНИС КУЗЬМИН, студент 6-го курса ВМК МГУ имени М. В. Ломоносова (кафедра алгоритмических языков), сотрудник проекта Поиск Mail.Ru Group

Проект «Яркая память»: опыт использования
нейросетей для колоризации черно-белых фотографий

В статье рассматриваются особенности разработки приложения для колоризации снимков военного времени

Проект «Яркая память» был разработан в рамках подготовки выпускного проекта студентами образовательного проекта Техносфера Mail.Ru Group.

Приложение «Яркая память» предназначено для колоризации черно-белых снимков, сделанных в период Великой Отечественной войны. Веб-приложение, доступное в десктопной версии социальной сети Одноклассники, позволяет пользователям загрузить фотографию с компьютера или из личного альбома в социальной сети и сделать ее цветной.

Используется нейронная сеть, прошедшая обучение на наборе данных, в который входило 600 000 фотографий. После обработки пользователь может сохранить цветную фотографию в личный альбом в социальной сети, скачать на компьютер или опубликовать в своей ленте новостей.

Разработкой приложения занималась команда студентов Техносферы в составе Всеволода Викулина, Бориса Копина и Дениса Кузьмина под руководством менторов учебного проекта. Первоначально идея заключалась в создании сервиса для ретуширования изображений с опцией колоризации черно-белых фотографий. В ходе обсуждения проекта с менторами, а затем с командой социальной сети Одноклассники идея проекта трансформировалась: было решено запустить специальное приложение с функцией колоризации черно-белых снимков времен войны.

Для этого предстояло спроектировать архитектуру нейронной сети, сформировать набор фотографий для обучения модели и запустить приложение на платформе Одноклассников. Команда протестировала множество готовых реализаций нейронных сетей, но ни одна из них не обеспечивала достаточного уровня качества. В связи с этим было решено создать собственную нейросеть. Разработанная командой нейросеть на первом этапе пыталась предсказывать RGB-версию изображения по черно-белому каналу, однако результат был признан неудовлетворительным, поскольку нейросеть стремилась раскрашивать все в серые тона (см. рис. 1).

Рисунок 1. Пример работы исходной нейронной сети

Рисунок 1. Пример работы исходной нейронной сети

Тогда было решено использовать вторую, заранее обученную нейронную сеть. С ее помощью удалось извлекать признаки как из оригинальной цветной фотографии, так и из той, что была раскрашена первой нейросетью. Так нейросеть обучили понимать, какие цвета присущи объектам в реальной жизни (цвет неба – голубой, цвет травы – зеленый и так далее). Для реализации нейронных сетей использовался популярный фреймворк PyTorch (см. рис. 2).

Рисунок 2. Новая архитектура нейронной сети

Рисунок 2. Новая архитектура нейронной сети

На следующем этапе необходимо было научить модель подбирать максимально реалистичные оттенки для лиц людей. Для обучения требовались наборы данных, в которых представлены крупные фото лиц на естественном фоне. Среди существующих наборов подходящих не нашлось, поэтому команда сформировала датасет самостоятельно. Для этого был составлен список из 5000 знаменитостей, затем их имена были использованы в качестве поисковых запросов по вертикали изображений в ряде поисковых систем. С помощью методов распознавания лиц отсеивались картинки, не содержащие лиц вообще, а на оставшихся фотографиях выделялись наиболее подходящие фрагменты. Таким образом, был собран отвечающий требованиям проекта набор из 600 000 снимков с лицами людей в разных ракурсах и при различном освещении.

На снимках военного времени преобладают люди в форме – соответственно, команде проекта нужно было научить нейросеть колорировать форму. Для этого искусственным образом генерировались картинки, на которых была изображена военная форма с различными медалями и орденами. Также использовались кадры из цветных фильмов военной тематики.

В результате объединения этих материалов с популярным набором снимков общего плана команда получила 2,5 млн фотографий для обучения нейросети (см. рис. 3).

Рисунок 3. Примеры фотографий из набора данных для обучения

Рисунок 3. Примеры фотографий из набора данных для обучения

После подготовки рабочего прототипа нейронной сети оставалось запустить полноценное приложение на платформе Одноклассников. Разработку фронтенда веб-приложения полностью взяла на себя команда Одноклассников, в то время как команда студентов Технопарка разрабатывала бэкенд. В качестве основы бэкенда была использована архитектура проекта Artisto – разработанного Mail.Ru Group приложения для художественной обработки видео с помощью нейросетей. Для этого команда портировала код нейронной сети на фреймворк Torch на Lua и внедрила его в окружение (см. рис. 4).

Рисунок 4. Интерфейс приложения в ОК

Рисунок 4. Интерфейс приложения в ОК

9 мая «Яркая память» стала доступна многомиллионной аудитории Одноклассников. О приложении написали несколько крупных изданий.

Приложение, созданное ко Дню Победы, решено было оставить доступным. На сегодняшний день его установили уже более 250 тысяч пользователей.

Рисунок 5. Реальные примеры работы нейронной сети на тестовых фотографияхРисунок 5. Реальные примеры работы нейронной сети на тестовых фотографиях

Рисунок 5. Реальные примеры работы нейронной сети на тестовых фотографияхРисунок 5. Реальные примеры работы нейронной сети на тестовых фотографиях

Рисунок 5. Реальные примеры работы нейронной сети на тестовых фотографиях

Ключевые слова: нейронные сети, проект, обучение, тестирование.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-45
E-mail: sa@samag.ru