В MIT научили нейросеть определять состав блюда по фотографии

Исследователи из Массачусетского технологического института работают над системой pic2recipe, которая использует нейросети для определения рецепта блюда по его фотографии. Об этом сообщает TechCrunch.

По словам разработчиков, система позволит дать представление о здоровых привычках и пищевых предпочтениях людей на основе фотографий еды из социальных сетей.

Система была построена на основе алгоритма Food-101 Data Set, созданного швейцарскими учеными в 2014 году. Для обучения алгоритма использовали 101 тысячу изображений пищи. Эту информацию связали с базами рецептов с таких сайтов, как All Recipes и Food.com.

Издание отмечает, что на данном этапе система далека от совершенства. Сейчас pic2recipe способна определять рецепт пищи только в 65% случаев. Главной проблемой для системы становятся сами изображения еды, рассказывают разработчики.

«В основном это проблема правильного масштабирования. Существует много вариаций в стиле фотографий еды: сделана ли фотография крупным планом или же еда сфотографирована с некоторого расстояния. Кроме того, люди могут фотографировать отдельный элемент блюда, его часть или же целое блюдо», — рассказал один из разработчиков системы Ник Хайнс.

Система лучше всего справляется с печеньями и кексами, тогда как суши и смузи даются ей с трудом, отмечает издание. Кроме того, система плохо определяет те блюда, рецепты которых дублируются в базах данных.

Inc. сообщал, что нейросеть научилась адаптировать рецепты под национальную кухню. В июле компания Google запустила инициативу People + AI Research, в рамках которой ученые пересмотрят способы взаимодействия людей с системами искусственного интеллекта.