Calames, Yahoo et RDFa (suite)

Après quelques essais infructueux, ça marche enfin : le service Searchmonkey de Yahoo utilise les métadonnées RDFa des pages Calames pour offrir une présentation améliorée des résultats de recherche.
Jusqu’à présent, il fallait nourrir Yahoo à la petite cuillère, en lui fournissant un XSLT qui transformait la page HTML de Calames vers un petit format de métadonnées propre à Yahoo. L’XSLT prenait forcément un peu de temps, empêchant la présentation améliorée d’être affichée au premier chargement de la page ; il fallait recharger la page (merci quand même, le cache).
Désormais, Yahoo mange tout seul : il va pomper à la source le RDFa qui irrigue la page HTML. Du coup, pour peu qu’on ait activé le service sur cette page, la présentation par défaut s’affiche immédiatement dans les résultats du moteur de recherche. Voici à quoi cela doit ressembler, pour la recherche suivante :

Recherche dans Calames avec Searchmonkey activé

Mais il faut encore être loggé avec son compte Yahoo. Bref, ce n’est pas encore l’échelle industrielle.

“Un catalogue de manuscrits, quatre leçons et mille mashups” dans le BBF

Le BBF (Bulletin des Bibliothèques de France) vient de faire paraître un nouveau numéro sur le patrimoine. Au sommaire, entre autres articles, un papier sur Calames par l’auteur de ce post.

Le papier en question s’intitule “Calames, et après ? Un catalogue de manuscrits, quatre leçons et mille mashups“. Promis, cette fois, on vous épargne une énième présentation du catalogue et ses fonctionnalités. L’idée est plutôt de prendre un peu de recul, de méditer impatiemment (c’est possible !) sur ce qui a été fait et surtout, implicitement, sur ce qui reste à faire, pour Calames.. ou d’autres catalogues. Les diagnostics, les suggestions et les notes de bas de page n’engagent que l’auteur.

Si vous avez des remarques à faire sur l’article, pourquoi ne pas le faire ici-bas, je veux dire, dans les commentaires de ce post ?

PS : les copies d’écran rendent très mal (euphémisme). J’espère que la version papier est moins insoutenable…

Nouvelles présentations de Calames

Le 7 novembre dernier, s’est tenu à la BnF (Paris) le séminaire du CERL, qui est le Consortium of European Research Libraries.

Ce fut l’occasion, une fois de plus, de présenter Calames, mais, cette fois, devant un public plus international et moins “bibliothécaire”. Un prochain billet reviendra sur cette journée. Pour l’instant, je voulais signaler la mise en ligne des diaporamas sur Slideshare. Les diapos sont en Anglais et reprennent en grande partie ce que mon collègue Aurélien Charot avait présenté à San Francisco, lors du Congrès des Archivistes Américains en août 2008 (SAA 2008).

On n’y verra rien de bien neuf, si ce n’est deux deux copies d’écran qui évoquent les deux chantiers actuels de l’équipe Calames :

• la possibilité pour le lecteur authentifié de déposer des annotations et la possibilité pour n’importe qui de suivre les annotations des autres (via un fil RSS) ;
• la visualisation des manuscrits numérisés sur le site Calames, quand les documents ne sont pas accessibles ailleurs.

A noter que ces copies d’écran ne montrent pas ces fonctionnalités dans leur état final, notamment du point de vue graphique. Nous reviendrons, dans de prochains posts, sur chacun de ces développements.

J’en profite pour corriger un oubli en indiquant une autre présentation de Calames, effectuée par Max Naudi de la Sous-direction des bibliothèques et de l’information scientifique (Ministère de l’enseignement supérieur et de la recherche – DGES). Max fait partie du groupe de travail qui a imaginé Calames avec l’ABES. C’est l’occasion de le remercier pour son importante contribution à ces travaux de groupe et pour ses diaporamas présentés lors des onzièmes journées des pôles associés de la BNF, en mars 2009. Mais, je rassure ceux qui auront vu dans mon hommage un adieu, Max est toujours parmi nous : lundi, on a Visio…

Calames et ses voisins : cohabiter dans le web sémantique – demain…

Le 27 juin dernier s’est tenue une journée d’étude sur le Web sémantique, à l’initative du cabinet de consultants Tosca et de l’Aula. On peut trouver sur le blog de Liberlibri un résumé riche et vivant de cette journée vivante et riche.

Dans ma présentation, j’ai essayé de fantasmer d’imaginer ce à quoi ressemblerait un Web of data à l’échelle de l’ABES, puis de l’enseignement supérieur, en connectant les corpus de métadonnées du Sudoc, de Calames, de Star, des ressources scientifiques ou pédagogiques produites par les universités… Mais pourquoi s’arrêter en si bon chemin ? J’ai profité de la présence de grandes institutions comme la BnF et les Archives de France pour suggérer une interconnexion de nos bases de données respectives, grâce aux technologies du Web sémantique et à l’esprit du modèle Linked data. Cela n’a rien d’original ni de fantasmatique : c’est la suite naturelle d’une entreprise comme celle du CCfr, à ceci près que :

• il ne s’agit plus de juxtaposer des notices (logique de la recherche fédérée), mais d’agréger des métadonnées au niveau plus fin du triplet RDF (c’est-à-dire au niveau des affirmations élémentaires du genre Ceci a-pour-sujet cela ) ;
• il ne s’agit plus d’ériger une interface en portail exclusif, mais de connecter des bases de données sans préjuger du point d’entrée dans ce réseau de métadonnées liées entre elles ;
• la mise en relation de catalogues de bibliothèques français n’est qu’une étape vers une mise en relation plus globale, au-delà du périmètre national et au-delà du périmètre bibliothéconomique. A moins que ce ne soit l’inverse : c’est peut-être en faisant l’effort de s’articuler sur de grands corpus globaux que les institutions françaises parviendront, indirectement, par transitivité (pour être pédant), à s’articuler entre elles. Ainsi, on pourrait conclure que le Goethe-du-Sudoc et le Goethe-de-la-BnF sont identiques parce que chacun d’entre eux serait déclaré identique au Goethe-de-DBpedia. Mais ce serait tout de même un paradoxe qu’il faille Wikipedia-DBpedia ou OCLC pour connecter le Sudoc et le catalogue de la BnF…

Quoi qu’il en soit, pour commencer, à chacun de travailler son lopin. De notre côté, cela veut dire poursuivre la mise aux normes RDF de Calames.

Calames, Yahoo et RDF

Nous avons commencé à exploiter une nouvelle fonctionnalité du moteur de recherche Yahoo : SearchMonkey.
Cette fonctionnalité permet d’enrichir les résultats de Yahoo relatifs à Calames.

Au lieu de voir cela dans la liste des résultats :

Calames dans Yahoo sans SearchMonkey

l’internaute pourra voir cela :

Calames dans Yahoo avec SearchMonkey

Avantage :

On maîtrise l’affichage de nos données dans Yahoo.
La copie d’écran ci-dessus n’est qu’un exemple : on pourra aller plus loin, ajouter du contenu, des liens, voire des images (par exemple, des vignettes des manuscrits numérisés sur Liber Floridus ou ailleurs).

Méthode :

Cet affichage enrichi n’est pas l’affichage par défaut dans Yahoo. Chaque utilisateur doit faire la démarche d’activer cette fonctionnalité à partir de cette page, ce qui suppose de posséder un compte chez Yahoo (et, hmm, d’utiliser Yahoo plutôt que… Google, par exemple).

Ensuite, dès qu’une de vos recherches dans Yahoo renverra dans sa liste une réponse Calames, celle-ci pourra être visualisée sous sa forme enrichie. En fait, pour l’instant, pour voir la forme enrichie, il faut cliquer sur la flèche :

Calames dans Yahoo - cliquer sur la flèche

On a deux présentations pour le prix d’une : en haut, par défaut, l’ancien affichage ; en bas, à portée de clic, le nouveau. Pourquoi cette redondance ? Pourquoi faut-il encore cliquer ? Pourquoi Yahoo n’affiche-t-il pas directement la nouvelle vue enrichie ? Comme l’explication est technique, je vous renvoie aux sections suivantes.

Comment ça marche ?

Nous aimerions pouvoir répondre : parce que Calames expose ses métadonnées en RDFa et que Yahoo SearchMonkey exploite les métadonnées RDFa. Hélas, seule la première partie de cette phrase est vraie… pour l’instant.

Depuis quelques semaines, nous avons enrichi les pages HTML de Calames de quelques attributs qui permettent de dire que telle information correspond au titre (dc:title) du manuscrit ou telle autre à son auteur (dc:creator).  C’est le principe de RDFa. Voici l’encodage de la date par exemple :

<span about="http://www.calames.abes.fr/pub/ms/res/MAZA10001"
      content="1101/1125"
      property="dc:date"
      class="unitdate">Premier quart du XIIe siècle</span

Le navigateur affiche la date sous une forme lisible par un humain (”Premier quart du XIIe siècle”), mais certains programmes comme Yahoo SearchMonkey sont capables d’extraire de cette page HTML des informations structurées en RDF. Ce qui les intéresse alors, ce sont plutôt les attributs about, content et property, qui affirment formellement que tel manuscrit (nommé http://www.calames.abes.fr/pub/ms/res/MAZA10001) a pour date (au sens du Dublin Core) telle période (formatée en “1101/1125″). En d’autres termes :

http://www.calames.abes.fr/pub/ms/res/MAZA10001      dc:date      “1101/1125“

Nous aurons l’occasion, dans de prochains billets, de revenir en détail sur RDF et Calames. Pour l’instant, il suffit de comprendre qu’avec RDFa, notre page Calames reste aussi présentable qu’une page HTML classique mais devient aussi exploitable qu’une notice Dublin Core bien structurée (c’est un raccourci). Ainsi, quand Yahoo moissonne les pages de Calames pour les indexer, il récupère aussi des métadonnées déjà structurées, que SearchMonkey est censé exploiter. Dès lors, tout ce qu’il devrait nous rester à faire, c’est de paramétrer en PHP le mode d’affichage de ces métadonnées dans chaque résultat Yahoo.

Limites

Hélas, à notre connaissance, SearchMonkey ne supporte pas encore RDFa. C’est imminent, croit-on comprendre. Pour patienter, on a donc utilisé une autre méthode proposée par SearchMonkey pour extraire des métadonnées : au moment de l’affichage de la liste de résultats, un script XSLT transforme la page HTML moissonnée par Yahoo en un format XML (DataRSS), qui lui-même est converti en ce bloc HTML que vous voyez sur la page de résultats. Forcément, comme l’extraction des métadonnées se fait au moment même où l’utilisateur consulte Yahoo, ça rame un peu, ce qu’un moteur de recherche ne tolère pas. Un dixième de seconde est un dixième de seconde. C’est pourquoi le nouvel affichage (plus gourmand en ressources, plus lent) n’est pas affiché par défaut. Par contre, si vous relancez la même recherche (F5), l’affichage enrichi remplace l’ancien affichage : la transformation XSLT n’est plus un frein, car le résultat a été conservé en cache ; il est prémâché.

Quand SearchMonkey comprendra directement le RDFa des pages Calames, la phase d’extraction des métadonnées se fera au moment de l’indexation des pages crawlées, et non au moment de la consultation. Plus besoin de passer par l’extraction en XSLT. Plus de problème de performance. L’affichage dans Yahoo présentera directement la vue enrichie, ce qui est bien l’effet souhaité.

Il restera un obstacle : l’internaute (authentifié) aura toujours à effectuer la démarche prélable d’activer cette fonctionnalité dans ses paramètres de recherche dans Yahoo (regardez à droite de la boîte de saisie, le lien “personnaliser”). Ce qu’on peut espérer, c’est que les propriétaires de site (en l’occurrence l’ABES pour Calames) auront la possibilité de rendre automatique cet affichage enrichi pour leur site, que l’utilisateur l’ait voulu ou non, qu’il soit authentifié ou non. Quitte à ce que l’utilisateur puisse passer outre ce choix imposé, en activant ou développant son propre module d’affichage pour Calames. En effet, n’importe qui peut créer un tel module pour n’importe quel site. Par exemple, je pourrais créer un module d’affichage des pages de l’Assemblée nationale qui, pour chaque député, fasse un lien avec le site mon-depute.fr, qui tient le compte de leurs votes au Parlement. Il doit même être possible d’afficher directement le nombre de votes pour, d’abstentions… pour telle législature. Les possibilités sont infinies.

Perspectives

Une innovation comme SearchMonkey a vraiment le potentiel de changer la donne :

• pour les éditeurs de site : après avoir sous-traité aux moteurs de recherche la fonction de “racoler le client”, les propriétaires de sites Web ont l’opportunité de contrôler un peu plus leur apparence dans la liste des résultats des moteurs, à défaut d’en pouvoir influencer le classement. On observera amusé que les résultats des moteurs vont de plus en plus ressembler à une notice de catalogue.
• pour les utilisateurs de site : sans trop d’effort, beaucoup de gens auront la possibilité de modifier l’apparence dans Yahoo de leur site préféré. Ils pourront ainsi se l’approprier, l’adapter à leurs besoins propres, mais aussi inventer de nouvelles manières d’en exploiter les données. C’est en retour, pour les éditeurs de site, un vivier d’idées sans prix, un brainstorming permanent et ouvert, une source d’inspiration pour imaginer de nouvelles fonctionnalités (ou les tester sans modifier le site lui-même), mais aussi une source d’information sur les communautés d’utilisateurs du site. Tout cela est encore plus vrai quand il s’agit de modifier l’apparence du site lui-même (via des scripts utilisateurs comme dans Greasemonkey ou Operator), et pas seulement ses résultats dans Yahoo.  Dans cet esprit, on ne peut manquer de mentionner Show Us a Better Way , la brillante initiative du gouvernement britannique qui vient de lancer un concours où chacun est invité à suggérer de nouvelles manières d’exploiter (réutiliser, afficher, combiner…) les données publiques mises en ligne par le gouvernement : données géographiques, statistiques… Fascinant.
• Customiser les résultats de Calames dans Yahoo suppose d’abord que Calames soit indexé dans Yahoo, ce qui n’est pas encore le cas de tous les catalogues et autres sites Web dynamiques. Mais cela suppose aussi qu’on expose ses informations sous une forme structurée et normalisée, qui les rende plus facilement réutilisables par soi-même ou par des tiers. Une solution possible serait d’exposer Calames en dataRSS, le format propre à Yahoo SearchMonkey. Mais il est bien plus tentant d’utiliser RDFa, qui est un format standard du W3C, car il promet bien d’autres usages au-delà de SearchMonkey – ce blog y reviendra bientôt. Quoi qu’il en soit, voici une nouvelle ruse de l’Histoire du Web : alors que bien des catalogues étaient sur le point d’abdiquer devant le modèle apparemment simpliste du moteur de recherche, c’est précisément un de ces vulgaires moteurs qui vient nous rappeler l’immense potentiel – encore en jachère – de la structuration des métadonnées, pourvu qu’on échappe aux formats traditionnels qui enferment les données dans leur carcan strictement bibliothéconomique (MARC), et qu’on adopte des solutions universelles et extensibles (RDF, bien sûr).

Exemples de requêtes pour trouver du Calames dans Yahoo :

• Les ms de la Reine Christine de Suède
• Retz Néel Bazin

A propos de RDFa, je vous invite à lire les explications de Gautier Poupeau et de Fabien Gandon.

Formation à EAD (enssib)

Le 19 juin, à l’enssib (Villeurbanne), dans le cadre d’une formation générale à EAD pilotée par Fabienne Queyroux (Bibliothèque de l’institut de France), nous avons fait une présentation de Calames sous l’angle “données” : que faire de ces métadonnées EAD ? quelles exploitations variées peut-on imaginer ? EAD n’est qu’un format. C’est un instrument de libération des données, qui doit leur permettre de se métamorphoser en interfaces et services Web multiples, qui pour beaucoup restent encore à inventer. Ce n’est pas une cage XML dont elle ne devrait pas sortir.

La dernière journée de ce stage était consacrée aux utilisations des données EAD. Au programme étaient également prévues une intervention de Florent Palluault (BnF) sur la rétroconversion du CGM et le volet Manuscrits du CCfr ; et une intervention de Florence Clavaud (Ecole nationale des Chartes) sur les divers outils pour produire ou exploiter de l’EAD.  Que du premier choix !

Lancement de l’interface de catalogage

Les mois de mars et avril ont été plutôt actifs pour l’équipe Calames. Après le lancement de l’interface publique de consultation fin 2007,  notre priorité était d’assurer la mise en service de l’interface de catalogage et d’en remettre les clés aux 9 premiers établissements qui vont y cohabiter. Chaque catalogueur a reçu deux jours de formation à l’outil ( la connaissance du format EAD était un prérequis), dont une demi-journée fut consacrée à l’utilisation des autorités Sudoc dans le contexte de Calames. C’est pour nous une dimension essentielle de Calames (et des activités de l’ABES en général). Les experts ABES de la question avaient fait spécialement le déplacement de Montpellier (siège de l’ABES) à Paris (lieu de la formation).

Dans un premier temps, il s’agit de rodage : essuyer les plâtres, emménager ses fichiers EAD qui patientaient sagement dans des cartons, trouver ses marques, imaginer comment on va y vivre et travailler… Bien sûr, le propriétaire (l’ABES) a fait un état des lieux, mais il est disposé à faire des travaux : il sera à l’écoute des remarques des nouveaux locataires… qui sont aussi un peu copropriétaires…  Calames, on ne le voit pas comme du logement social, ni comme un appartement sans âme avec services hôteliers. Alors, un phalanstère ? Pourquoi pas… en espérant que l’histoire lui accordera un meilleur sort.

L’objectif de cette période de rodage est, bien sûr, de débusquer les bugs, d’identifier les marges d’amélioration et les évolutions futures, mais aussi, au-delà des aspects techniques et fonctionnels, d’établir un mode de travail collaboratif, de mettre en place des habitudes d’assistance mutuelle et de réflexion collective. La priorité absolue est de convenir d’un règlement intérieur, en l’occurrence de fixer un corpus de bonnes pratiques de l’EAD, en concertation serrée avec nos collègues des bibliothèques municipales et de la BnF.

Et, pendant ce temps, à deux pas de ce jardin partagé, les travaux continuent côté cour, dans l’interface publique. Nous en reparlerons bientôt.

Calames devant les directeurs de BU

A l’occasion de la réunion annuelle des directeurs des bibliothèques des établissements d’enseignement supérieur, j’ai fait une présentation du réseau Calames – pas des outils Calames, mais du réseau de bibliothèques et de professionnels Calames. J’ai essayé de montrer l’intérêt d’une solution hébergée et partagée pour cataloguer des manuscrits et des archives. Outre les arguments techniques et économiques, il y a l’argument de l’interopérabiblité (favorisée par un outil commun et des règles partagées) et l’argument de l’espace collaboratif (entraide vs solitude du responsable de fonds anciens). Aujourd’hui, j’ai le sentiment que ces arguments pèsent en faveur d’une solution à la Calames. Un jour, sans doute, les outils seront plus mûrs, les professionnels plus expérimentés, les règles mieux définies, de sorte qu’une solution plus décentralisée deviendra compatible avec un fonctionnement en réseau.

Comme pour les autres produits et services de l’ABES (Sudoc, STAR), l’enjeu est de trouver le point d’équilibre entre la cohérence de l’échelle nationale et l’autonomie des solutions locales. Ainsi, Calames cohabitera avec des catalogues locaux, qui s’appuieront sur les données EAD exportées de Calames. De même, quand Calames établit des liens avec des sources extérieures ou réutilise leurs données (comme pour Liber Floridus), c’est aussi une manière de valoriser des ressources extérieures à Calames.

Le diaporama est accessible sur le site du Ministère.

Vivisection de Calames à l’Ecole nationale des Chartes

Le 8 février dernier, Florence Clavaud, directrice des nouvelles technologies à l’Ecole des Chartes, nous a donné l’occasion de présenter Calames à la promotion du Master “Nouvelles technologies appliquées à l’histoire”. Les conditions offertes étaient exceptionnelles : une séance de trois heures (de quoi aller dans le détail), un public averti et attentif (malgré le stress, encore frais, des examens), le dialogue avec Florence (grande experte d’EAD et de Pléade), une exposition plein Sud… Merci à Florence pour son accueil et ses interventions, merci à la promotion (actuellement en stage, dont certains dans un établissement du réseau Calames) et aux collègues de l’Ecole des chartes qui avaient fait le déplacement !

En trois heures, on peut faire plus que de la promo. On a vraiment le loisir d’expliquer, de contextualiser, mais aussi de faire une démo complète. On a souhaité aller plus loin en disséquant in vivo l’interface de recherche et de consultation, avec Firebug pour scalpel. Firebug est un plugin Firefox qui facilite le développement Web : il permet d’analyser le code HTML, Javascript, CSS… mais surtout, en l’occurrence, de voir passer les requêtes AJAX et les données XML renvoyées par la base de données de Calames.

Hélas, le diaporama (.ppt) ne reflète ni le détail de ma présentation, ni les échanges avec Florence Clavaud, ni le spectacle (insoutenable) de la vivisection au Firebug.

Vous pouvez aussi laisser des commentaires sur cette page de SlideShare, site de partage sur lequel j’ai également déposé le diaporama.

Calames et Liber Floridus

Liber Floridus est une bibliothèque numérique qui donne accès aux enluminures des manuscrits médiévaux de la bibliothèque Mazarine et de la bibliothèque Sainte-Geneviève. Or, ces bibliothèques sont deux piliers de Calames. Il était donc naturel de chercher à faire le lien entre les notices de Calames et les images de Liber Floridus. C’est désormais chose faite.

Par exemple, si vous consultez le ms 19 de la Mazarine dans Calames, une vignette s’affiche dynamiquement, à droite. C’est une invitation à cliquer dessus et basculer sur le site de Liber Floridus pour consulter la planche entière des images correspondant à ce manuscrit.

Dans les prochains mois, nous poursuivrons ce travail de mise en relation des notices et des images mises en ligne. Nous y travaillons actuellement avec la BCIU de Clermont-Ferrand et la BIU de Médecine (Paris).