IBM представит умный поиск по мультимедиа

Компания IBM работает над инструментом распознавания фотографий, использующим технологию сравнения снимков между собой. По элементам фотографии, например, зданиям или вывескам, новая технология поможет узнать, в каком именно месте был получен снимок.

Узнать по фотографии место, где она была сделана, не так просто. Особенно часто такая проблема может возникать у путешественников, которые запамятовали, в каком именно городе были сфотографированы здания или улицы. Новая технология, разрабатываемая компанией IBM, позволит решить эту задачу.

Технология получила название SAPIR (Search in Audio-Visual Content Using Peer-to-peer Information Retrieval, поиск аудио-визуальных материалов на основе информационного анализа контента и использования технологии P2P). Она позволяет найти картинки не только на основе использования поисковых запросов. SAPIR, в отличие от традиционных поисковых машин, анализирует не текстовые теги и описания картинок, а сами изображения. SAPIR сравнивает их и предоставляет пользователю перечень похожих картинок. SAPIR позволяет уточнить условия поиска фото в виде текстовых запросов. Например, можно указать город, в котором были получены снимки.

Для поиска похожих картинок система использует те же методы, что и человек при восприятии визуальной информации, то есть сравнивает увиденные элементы фото с уже знакомыми ему. SAPIR анализирует такие атрибуты, как здания или вывески, расположенные на дальнем фоне. На основе этой информации система может определить место, где была снята фотография.

Пользователю нужно только загрузить свои фотографии, а система выдаст список их аналогов. Пока компания работает над поиском изображений, однако в будущем технология будет использоваться и для поиска аудио и видеоинформации.

Похожими технологиями, работающими по аналогичным алгоритмам, являются CoPhIR (Content-based Photo Image Retrieval, поиск изображений на основе контентного анализа) и еще один проект IBM - MUFIN (Multi-Feature Indexing Network, мультипараметрическая индексация). Эти системы индексируют данные фотоархива Flickr по цвету, структуре, форме и умеют находить похожие изображения.