El problema de la búsqueda por similitud multimodal consiste en buscar objetos relevantes en una colección a partir de una consulta formulada con varias modalidades (por ejemplo, imagen y texto). El trabajo consiste en comparar y evaluar dos formas distintas de implementar la búsqueda multimodal: mediante Deep Features extraídos de modelos que fueron entrenados con los datos entregados en diferentes modalidades, o utilizando una función de similitud que combina las similitudes obtenidas de descriptores provenientes de distintos modelos unimodales.