Задача переноса произвольного стиля состоит в создании нового, ранее не существующего изображения путем комбинирования двух данных изображений – оригинального и стилевого. Оригинальное изображение формирует структуру, основные геометрические линии и формы результирующего изображения, в то время как стилевое изображение задает цвет и текстуру результата. Слово «произвольный» в данном контексте обозначает отсутствие какого-то одного, заранее выученного стиля. Так, например, сверточные нейронные сети способны переносить новый стиль только после своего переобучения или дообучения на новом объеме данных, не считаются решающими такую задачу, в то время как сети на основе механизма внимания способны производить такую трансформацию без переобучения. Оригинальное изображение может представлять собой, например, фотографию, а стилевое – картину знаменитого художника. Результирующим изображением в таком случае будет сцена, изображенная на исходной фотографии, выполненная в стилистике данной картины. Современные алгоритмы переноса произвольного стиля позволяют добиться хороших результатов в данной задаче, однако при обработке портретных изображений людей результат работы таких алгоритмов оказывается либо неприемлемым ввиду чрезмерного искажения черт лица, либо слабо выраженным, не носящим характерные черты стилевого изображения. В этой работе рассматривается подход к решению данной проблемы с использованием комбинированной архитектуры глубоких нейронных сетей с механизмом внимания и сверточной сегментационной сети, осуществляющей перенос стиля с учетом содержимого конкретного сегмента изображения: с ярким преобладанием стиля над формой для фоновой части изображения и с преобладанием содержания над формой в портретной части изображения, содержащей непосредственно изображение лица человека и/или его фигуры.
Березин Сергей Андреевич
Волкова Виктория Михайловна
1. Park D.Y., Lee K.H. Arbitrary style transfer with style-attentional networks. – URL: https://arxiv.org/abs/1812.02342 (accessed: 18.11.2019).
2. Gatys L.A., . Ecker A.S., Bethge M. A neural algorithm of artistic style. – URL: https://arxiv.org/abs/1508.06576 (accessed: 18.11.2019).
3. Cui B., Qi C., Wang A. Multi-style transfer: generalizing fast style transfer to several genres // Stanford University. – 2017. – URL: http://cs231n.stanford.edu/reports/2017/pdfs/401.pdf (accessed: 18.11.2019).
4. Huang X., Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization. – URL: https://arxiv.org/abs/1703.06868 (accessed: 18.11.2019).
5. Badrinarayanan V., Kendall A., Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation. – URL: https://arxiv.org/abs/1511.00561 (accessed: 18.11.2019).
6. Avatar-Net: multi-scale zero-shot style transfer by feature decoration / L. Sheng, Z. Lin, J. Shao, X. Wang. // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. – Salt Lake City, UT, 2018. – P. 8242–8250.
7. Microsoft COCO: Common objects in context / T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll´ar, C.L. Zitnick // Computer Vision – ECCV 2014. – Cham: Springer, 2014. – P. 740–755.
8. Phillips F., Mackintosh B. Wiki Art Gallery, Inc.: a case for critical thinking // Issues in Accounting Education. – 2011. – Vol. 26 (3). – P. 593–608.
9. Kingma D.P., Ba J.L. Adam: a method for stochastic optimization. – URL: https://arxiv.org/abs/1412.6980v9 (accessed: 18.11.2019).
10. Хомутов С.О., Серебряков Н.А. Повышение качества краткосрочного прогнозирования электропотребления группы точек поставки электроэнергии сельхозпроизводителей с помощью инструментов машинного обучения // Научный вестник НГТУ. – 2019. – № 3 (76). – С. 149–168. – DOI: 10.17212/1814-1196-2019-3-149-168.
11. Гергет О.М., Мещеряков Р.В. Применение информационных методов, нейронных сетей и генетического алгоритма для решения задачи выбора схемы лечения // Научный вестник НГТУ. – 2018. – № 3 (72). – С. 7–20. – DOI: 10.17212/1814-1196-2018-3-7-20.
12. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 5 (54). – C. 205–223.
13. Романников Д.О. О преобразовании сети Петри в нейронную сеть // Сборник научных трудов НГТУ. – 2016. – № 4 (86). – С. 98–103.
14. Дубенко Ю.В., Дышкант Е.Е. Нейросетевой алгоритм выбора методов для прогнозирования временных рядов // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. – 2019. – № 1. – С. 51–60. – DOI: 10.24143/2072-9502-2019-1-51-60.
15. Тимофеев А.В., Дерин О.А. Принципы построения иерархических нейронных сетей для анализа мультиизображений // Труды СПИИРАН. – 2009. – Вып. 10. – С. 160–166.
Березин С.А., Волкова В.М. Нейросетевой перенос произвольного стиля на портретные изображения с использованием нейросетей с механизмом внимания // Сборник научных трудов НГТУ. – 2019. – № 3–4 (96). – С. 96–105. – DOI: 10.17212/2307-6879-2019-3-4-96-105.
Berezin S.A., Volkova V.M. Neirosetevoi perenos proizvol'nogo stilya na portretnye izobrazheniya s ispol'zovaniem neirosetei s mekhanizmom vnimaniya [Neural arbitrary style transfer for portrait images using the attention mechanism]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta – Transaction of scientific papers of the Novosibirsk state technical university, 2019, no. 3–4 (96), pp. 96–105. DOI: 10.17212/2307-6879-2019-3-4-96-105.
