Вязание машин: нейросеть научили вязать свитера по фото. Никто не знает что она свяжет еще...

Привет, наткнулся тут на любопытный проект инженеров из массачусетского технологического, где они научили нейросеть создавать схему вязания по фото готовой вещи. Если вам вдруг захочется свитер с оленями “как у того мужика”, этот алгоритм как раз для вас. Вообще хорошая зимняя тема)

Вязание машин: нейросеть научили вязать свитера по фото

Мотивированные недавним потенциалом массовой настройки швейных машин, ребята запилили алгоритм автоматического создания машинных инструкций с использованием изображения желаемого результата, для машинного вязания. Они научили нейросеть синтезировать обычные машинные инструкции из реальных изображений. 

Схема для вязания по фото вещи

Исправленный набор данных реальных образцов сопоставляют с их аналогом из инструкций и используют синтетические изображения для его дополнения новым способом. 

Иллюстрация автоматического генерирования машинных команд из изображения

Структуру смешивания данных мотивируют (даже не спрашивайте как именно) и показывают эмпирические результаты, предполагающие, что создание более синтетических изображений полезно. Короче используется уже не новый подход машинного обучения с подкреплением. 

На видео ниже процесс описан подробнее:

Набор данных и код открыты и доступны для скачивания для мотивации дальнейших исследований, связанных с производством и синтезом программ.

Для людей разбирающихся в вязании больше результатов можно найти на этой странице. А вообще, на меня как человека далекого от этой темы, проект произвел очень позитивное впечатление. Возможно еще немного и нейросеть решит связать свитер старику Арни на Рождество;)

Свитер терминатора

Комментарии