Outils & Ressources en ligne, Réflexions

Google Arts & Culture (2) Le Lab

Dans le cadre de notre parcours à l’Ecole du Louvre, nous avons été invités par Google Arts & Culture pour découvrir les nouvelles expériences développées par Le Lab.

Pour en savoir plus sur Google Arts & Culture : c’est ici

Les activités du Lab

Le Lab de Google Art and Culture est d’abord un espace de Recherche et Développement pour les ingénieurs et les artistes en résidence qui y travaillent.  Mêlant créativité et machine learning, ils expérimentes, notamment avec la base de données fournie par les 6 millions d’images en UHD.

Il est devenu un des hauts lieu d’incubation de projets, repris ensuite par d’autres, comme le Google Cardboard, une solution simple pour rendre la réalité virtuelle accessible de tous.

Les Google Experiments

Les anciennes : 2 exemples

  • T-SNE map : Est-ce qu’une machine classifierait les images de la même façon qu’un être humain ? La carte regroupe les images similaires en cluster en analysant exclusivement les images et pas leurs métadonnées (la description qu’en font les hommes). Ainsi, les portraits d’Arcimboldo sont classés dans les natures mortes.

tsnemap

Critique : L’expérience est intéressante mais elle ne va pas jusqu’au bout : aucun script ne permet de comparer cette cartographie avec celle qui est produite par les classifications humaines, et donc impossible de repérer les différences à moins de se promener parmi les 6 millions d’oeuvres. La pertinence de l’expérience se perd dans le ludique.

Critique : Encore une fois, l’idée est très amusante. Cela dit, elle n’opère que sur un échantillon très réduit d’images et ne peut donc avoir aucune portée scientifique. D’autant que l’algorithme ne différencie pas l’image et son fond pour le cas des sculptures. Ce qui fait émerger des réponses étonnantes, basée sur la couleur de l’arrière-plan de la photographie…

Les nouvelles (présentées le 6 mars 2018 à Paris)

  • Life tags : L’expérience se présente sous forme d’un dictionnaire de mots-clés sur lesquels nous pouvons cliquer afin de faire apparaître les images associées. Les photographies issues du magasine Life sont organisées en une encyclopédie interactive grâce aux tags appliqués par le machine-learning. L’algorithme a été entraîné par la recherche d’image et affiche également les résultats de recherches proches sémantiquement.

Critique : Tagger plutôt que de remplir des métadonnées. Une solution plus souple, qui crée du lien, cela semble idéal. L’idée n’est pas neuve en humanités numériques. Les bibliothèques versent leurs fonds photographiques sur Flickr pour permettre un crowdsourcing des métadonnées : c’est le public qui localise et identifie les personnes représentées. La différence tient donc essentiellement dans l’usage de la machine.

  • Art Palette : Les nuanciers de couleurs sont essentiels au design, du web à nos intérieurs. Le moteur de recherche Art Palette relie les couleurs choisies aux oeuvres stockées par Google Art & Culture.

artpalette

  • Draw to art : Les oeuvres d’art commencent toutes par un croquis. Draw to Art associe vos esquisses aux chefs d’oeuvres – dessins, scupltures, peinture – du monde entier. Comme pour la fameuse application Art selfie, disponible aux Etats-Unis, Google propose plusieurs résultats que l’utilisateur peut noter selon leur pertinence et parmi lesquels il peut choisir son préféré, entraînant ainsi lui-même l’algorithme.

Ce diaporama nécessite JavaScript.


Une visite chez Google

Entrer chez le géant de l’information, celui qui a les moyens de mettre en oeuvre tous les projets qui traînent depuis des années dans le secteur public, c’est un peu un rêve. Et  cela en reste un. L’image parfaitement lisse de l’écran n’est jamais dépassée. On regrette principalement deux choses : l’aspect très « frontpage » de la visite d’une part et la tentation ludique  des expériences qui pourraient avoir un réel pouvoir heuristique d’autre part.

Par « frontpage », j’entends une présentation impeccable – des locaux rutilants (on ne s’offre pas un hôtel particulier tous les jours!) aux immenses écrans qui permettent de tester les expériences en passant par un accueil fort sympathique et détendu – mais qui ne pousse pas plus loin que ce qu’elle montre déjà sur le site ou l’application. D’où notre impossibilité d’ajouter autre chose que notre avis. Pas moyen de rencontrer un ingénieur qui nous explique un peu, sans révéler les secrets d’algorithme, les enjeux, le nombre de critères entrant en compte, etc. Nous comprenons tout à fait la politique de confidentialité de Google mais les expériences sont difficilement évaluables et donc améliorables. (On note l’exception de XY-Fi, une expérience de réalité augmentée dont le code est disponible sur Github.)

Finalement, c’est peut-être l’absence d’application vraiment utile pour les historiens de l’art, pourtant premiers intéressés par ces applications de machine-learning, qui frustre le plus l’étudiante que je suis. J’entends bien les arguments :

  • celui, que je suis souvent la première à avancer, qu’une personne extérieure peut lui apporter beaucoup par sa « virginité » aux schémas ancrés d’une discipline.
  • et Google n’a pas vocation à produire de l’histoire de l’art.

Les histoires d’innovations résultant d’un jeu, d’un hasard sont jolies à entendre, certes, mais elles ne concernent que très peu des avancées majeures de l’humanité, mues d’abord, comme on le sait, par l’économie et la guerre.  C’est pourquoi je pense qu’un véritable partenariat pour les expériences, serait bénéfique pour les deux parties, afin de perfectionner les algorithmes, préciser les biais inhérents à la base, et de fournir aux historiens des outils de travail et d’analyse.

Pour le moment, le Lab apporte certainement beaucoup au Machine Learning, beaucoup moins à l’art.

Qu’en pensez-vous ?

2 réflexions au sujet de “Google Arts & Culture (2) Le Lab”

  1. Tout à fait d’accord,aucune machine aussi sophistiquée soit -elle,ne pourra se substituer à la merveilleuse machine qu’est l’être humain.

    J’aime

    1. J’ai trouvé ceci chez Michel Wieviorka l’autre jour (dans « l’Impératif numérique »)… c’est à propos du text mining mais je trouve que ça s’applique aussi à ce qu’on peut voir chez Google sur les images : « Tout ceci peut être technologiquement impressionnant, mais reste aussi pour l’instant trop souvent limité. Les outils de text mining existent depuis longtemps mais ont jusqu’à présent été surtout utilisés dans les travaux de linguistique liés à une théorie scientifique de la langue, par exemple au sein de l’ex laboratoire Icare de l’ENS Lyon (ex-Fontenay-Saint-Cloud). Google en propose une version appauvrie « clé en main » et surtout sans la théorie qui l’accompagne : c’est la technologie sans la science. »

      Aimé par 1 personne

Les commentaires sont fermés.