В мае прошлого года датский стартап Uizard Technologies представил нейросеть pix2code, которую обучили просматривать изображение или скриншот пользовательского интерфейса и создавать на основе этой информации страницу с нужным кодом и оформлением. Разработчики не хотели публиковать исходный код нейросети. Однако разработчики из FloydHub создали на его основе нейросеть, с которой может работать любой человек. О том, как работает pix2code, рассказали в vc.ru.
Процесс автоматического создания сайтов делится на три этапа. Сначала в нейросеть вводят изображение с сайтом, затем нейросеть преобразует все элементы в HTML- и CSS-коды. В конечном итоге пользователь получает готовую версию сайта.
После того, как алгоритм обрабатывал скриншоты страниц, разработчики присваивали их частям HTML-теги, с помощью которых можно создавать шаблонные сайты. При этом сама система пытается предсказать HTML-теги. Чтобы увеличить точность работы алгоритма, нужно увеличить число циклов работы программы.
В июне прошлого года программисты представили проект pix2pix, который с помощью нейросетей и машинного обучения превращает эскизы лиц в графическом редакторе в портреты.
Спустя несколько недель авторы проекта Sketch-rnn научили нейросеть дорисовывать объекты по наброскам. Программа работает на основе библиотеки TensorFlow. Разработчики обучили систему на данных из проекта Google Quick Draw.