Nantilus
Prédiction computationnelle de la mémorabilité des images : vers une intégration des informations extrinsèques et émotionnelles
La mémorabilité des images est un sujet de recherche récent en vision par ordinateur. Les premières tentatives ont reposé sur l utilisation d algorithmes d apprentissage pour inférer le degré de mémorabilité d une image d un ensemble de caractéristiques de bas niveau. Dans cette thèse, nous revenons...
| Auteurs principaux : | , , , , , , , , |
|---|---|
| Collectivités auteurs : | , , |
| Format : | Thèse ou mémoire |
| Langue : | français |
| Titre complet : | Prédiction computationnelle de la mémorabilité des images : vers une intégration des informations extrinsèques et émotionnelles / Romain Cohendet; sous la direction de Patrick Le Callet |
| Publié : |
2016 |
| Accès en ligne : |
Accès Nantes Université
|
| Note sur l'URL : | Accès au texte intégral |
| Note de thèse : | Thèse de doctorat : Informatique et applications : Nantes : 2016 |
| Sujets : |
| Résumé : | La mémorabilité des images est un sujet de recherche récent en vision par ordinateur. Les premières tentatives ont reposé sur l utilisation d algorithmes d apprentissage pour inférer le degré de mémorabilité d une image d un ensemble de caractéristiques de bas niveau. Dans cette thèse, nous revenons sur les fondements théoriques de la mémorabilité des images, en insistant sur les émotions véhiculées par les images, étroitement liées à leur mémorabilité. En considération de cet éclairage théorique, nous proposons d inscrire la prédiction de la mémorabilité des images dans un cadre de travail plus large, qui embrasse les informations intrinsèques mais également extrinsèques de l image, liées à leur contexte de présentation et aux observateurs. En conséquence, nous construisons notre propre base de données pour l étude de la mémorabilité des images ; elle sera utile pour éprouver les modèles existants, entraînés sur l unique vérité terrain disponible jusqu alors. Nous introduisons ensuite l apprentissage profond pour la prédiction de la mémorabilité des images : notre modèle obtient les meilleures performances de prédiction à ce jour. En vue d amender ces prédictions, nous cherchons alors à modéliser les effets contextuels et individuels sur la mémorabilité des images. Dans une dernière partie, nous évaluons la performance de modèles computationnels d attention visuelle, de plus en plus utilisés pour la prédiction de la mémorabilité, pour des images dont le degré de mémorabilité et l information émotionnelle varient. Nous présentons finalement le film interactif émotionnel , qui nous permet d étudier les liens entre émotion et attention visuelle dans les vidéos. The study of image memorability in computer science is a recent topic. First attempts were based on learning algorithms, used to infer the extent to which a picture is memorable from a set of low-level visual features. In this dissertation, we first investigate theoretical foundations of image memorability; we especially focus on the emotions the images convey, closely related to their memorability. In this light, we propose to widen the scope of image memorability prediction, to incorporate not only intrinsic, but also extrinsic image information, related to their context of presentation and to the observers. Accordingly, we build a new database for the study of image memorability; this database will be useful to test the existing models, trained on the unique database available so far. We then introduce deep learning for image memorability prediction: our model obtains the best performance to date. To improve its prediction accuracy, we try to model contextual and individual influences on image memorability. In the final part, we test the performance of computational models of visual attention, that attract growing interest for memorability prediction, for images which vary according to their degree of memorability and the emotion they convey. Finally, we present the "emotional" interactive movie, which enable us to study the links between emotion and visual attention for videos. |
|---|---|
| Variantes de titre : | Computational understanding of image memorability : towards the integration of emotional and extrinsic information |
| Notes : | Titre provenant de l'écran-titre Ecole(s) Doctorale(s) : École doctorale Sciences et technologies de l'information et mathématiques (Nantes) Partenaire(s) de recherche : Laboratoire d Informatique de Nantes Atlantique (UMR 6241) (Nantes) (Laboratoire) Autre(s) contribution(s) : Alice Caplier (Président du jury) ; Matthieu Perreira da Silva, Anne-Laure Gilet, Vincent Courboulay, Mohammad Soleymani (Membre(s) du jury) ; Olivier Le Meur, Charles Tijus (Rapporteur(s)) |
| Configuration requise : | Configuration requise : un logiciel capable de lire un fichier au format : PDF |