Aller au contenu

Comment ça marche

Chaque mot compte.

Sainte Grâce répond à vos questions à partir des textes eux-mêmes : la Bible dans la traduction liturgique (AELF), les textes du Magistère et les écrits des saints et des mystiques. Elle ne cite jamais de mémoire : chaque citation affichée a été comparée mot à mot au texte source par un programme, et renvoie au passage exact.

Pour les curieux : c'est un système de génération augmentée par la recherche (RAG, Retrieval-Augmented Generation). Le modèle de langage (LLM) ne répond qu'avec les passages que la recherche lui apporte, et un programme contrôle ce qu'il en cite (citation grounding).

Un exemple

Une réponse, et le contrôle qu'elle a passé

Que dit la Genèse de la création de l'homme ?

Au sixième jour, Dieu crée l'humanité à son image, homme et femme :

Gn 1, 27Livre de la GenèseÉcriture Sainte

« Dieu créa l’homme à son image, à l’image de Dieu il le créa, il les créa homme et femme. »

Ouvrir le passage

Chaque citation porte sa source complète et ouvre le lecteur au verset exact. Le badge de reconnaissance indique le statut de l'œuvre, sans porter de jugement.

Refusé Dieu créa l'homme à son image et à sa ressemblance « À sa ressemblance » ne figure pas en Gn 1, 27. Le modèle doit corriger ; s'il échoue encore, Sainte Grâce s'abstient.
Accepté Dieu créa l’homme à son image, à l’image de Dieu il le créa Présent mot pour mot. Le texte affiché est ensuite repris de la source elle-même, et non de ce que le modèle a recopié.

Une apostrophe typographique ou une majuscule ne comptent pas ; un mot changé, ajouté ou déplacé fait refuser la réponse.

Le fonctionnement

L'IA propose, le programme dispose

Chaque livre est d'abord préparé, une fois pour toutes ; chaque question suit ensuite l'un des trois modes de recherche. À chaque étape, on sait qui agit : un programme, qui donne toujours le même résultat ; un modèle d'IA, qui propose ; ou un contrôle, qui vérifie.

1. Préparer un livre, une fois pour toutes

  • Programme
  • IA, qui propose
  • Contrôle
  • Ce que vous voyez
ÉDITIONTexte sourceBible AELF, éditions(sources MDX)PROGRAMMEPassagesversets, paragraphes(parsing sans IA)IAPéricopesoù couper, et le titre(chunking sémantique)CONTRÔLEVérificationni oubli, ni doublon(tests déterministes)IARelecturescinder ou rattacher(seconde lecture)PROGRAMMEIndexmots et sens(FTS + embeddings)Base de donnéesPostgreSQL + pgvector (base vectorielle) : textes, références, notes et vecteurs au même endroittexte exactnotes, jamais citéesindex
Le texte qui entre dans la base vient du programme, jamais de l'IA : le modèle ne rend que des numéros de passages, ou des notes qui ne seront jamais citées.

2. Répondre à une question, selon le mode choisi

VOUSVotre questiondans la bibliothèqueMots-cléstous les passages qui contiennent vos motsPROGRAMMEMots cherchésformes fléchies(recherche plein texte)PROGRAMMEComptage exacttous les passages(liste exhaustive)VOUS VOYEZListe complètecomptée, dans l'ordredu texte, mots surlignésIASuggestions de termesterme ajouté d'un clicrien n'est écartéPar le sensles passages qui parlent de la même choseIAReformulationretire des mots(query rewriting)PROGRAMMERecherche hybridesens + mots fusionnés(dense + BM25, fusion DBSF)IAJuge de pertinencejusqu'à 300 candidats(reranker)CONTRÔLESeuilgarde le plus proche(seuil de pertinence)VOUS VOYEZPassages classésles plus proches,filtrables par œuvreRien d'assez proche : abstention, rien n'est inventéConversation IAune réponse rédigée, citations vérifiéesIAAgentcherche, puis écrit(tool calling)IARédactioncite « … » avec [n](génération par LLM)CONTRÔLEVérificationcitations mot à mot(contrôle verbatim)PROGRAMMETexte d'origineremis à la place(verbatim source)VOUS VOYEZRéponse citéechaque citation ouvrele passage exactLECTURE SEULE4 outils (tools)jusqu'à 6 appelspar questionIAUne correctionrefuséerevérifiée2ᵉ refusAbstention : aucune citation douteuse affichée
Le mode se choisit à l'accueil. Chaque chemin finit par des passages sourcés ou par une abstention explicite.

État de l'art

Ce qui en fait un outil de pointe

Sainte Grâce réunit les techniques de l'état de l'art en recherche documentaire, et y ajoute des garde-fous propres aux textes sacrés, où une citation approximative est une citation fausse.

Deux recherches plutôt qu'une

Par les mots, on trouve « Melkisédek » même s'il n'apparaît qu'une fois. Par le sens, on trouve le pardon dans un passage qui ne prononce pas le mot. Trois classements, celui des mots et ceux du sens pour chaque péricope et chaque verset, sont fusionnés par leurs scores.

Pour les curieuxRecherche hybride dense + BM25, fusion des scores DBSF (moyenne et écart-type de chaque classement)

Un second lecteur, plus exigeant

Les 100 meilleurs candidats, et les 3 meilleurs de chaque œuvre, sont relus un à un, face à votre saisie, par un modèle spécialisé dans le jugement de pertinence. Ce qui n'est pas assez proche n'est pas montré.

Pour les curieuxReranker cross-encoder (Cohere Rerank 5) ; liste bornée : score ≥ 0,05 et ≥ 50 % du premier

Chaque péricope indexée avec son contexte

Ce qui est indexé n'est pas seulement le texte : aussi l'œuvre et le chapitre, le titre traditionnel du récit, et la fin et le début des passages voisins.

Pour les curieuxContextual retrieval ; embeddings gemini-embedding-2 (1 536 dimensions) avec titre de document

Le verset et le récit

La recherche interroge à la fois chaque verset et chaque péricope. Un seul verset très proche suffit à faire remonter tout son récit.

Pour les curieuxRecherche multi-granularité, remontée passage → chunk parent ; recherche exacte sur tous les vecteurs (pgvector)

Un découpage qui ne touche pas au texte

Pour découper un livre, le modèle ne rend que des numéros de passages. Le programme reconstruit le texte, puis le contrôle : il ne peut pas être altéré en chemin.

Pour les curieuxChunking sémantique par identifiants, reconstruction verbatim, validation déterministe, annotation en contexte isolé

Une citation exacte, ou pas de réponse

Une réponse dont une seule citation diffère de la source n'est jamais affichée. Le texte cité qui s'affiche est celui de la source, recopié par le programme.

Pour les curieuxVérification post-génération en échec fermé, normalisation typographique, substitution du verbatim

Savoir dire « je ne sais pas »

Si aucun passage n'est assez proche, aucun modèle n'est appelé. Si les sources ne répondent pas, le modèle le dit en une phrase fixe, et rien d'autre ne s'affiche.

Pour les curieuxAbstention calibrée : seuil de similarité cosinus 0,70, recalibré à chaque nouveau livre

Un agent qui cherche avant d'écrire

En conversation, le modèle conduit lui-même ses recherches : chercher, compter un mot, lire le résumé d'un chapitre, regarder les versets autour. Ses outils lisent la bibliothèque sans rien y écrire, et leur nombre d'appels est limité.

Pour les curieuxAgent à appels d'outils (Gemini), 4 outils en lecture seule, 6 appels et 120 s par tour, mémoire de conversation compactée

Mesurer avant de choisir

Chaque choix (modèle, seuil, réglage) est tranché sur des questions dont la réponse est connue d'avance, puis remesuré à chaque nouveau livre.

Pour les curieuxGolden sets, bancs comparatifs versionnés, rappel et taux d'abstention suivis

Les limites que nous nous donnons

Ce que Sainte Grâce ne fait pas

Glossaire

Les mots de la technique

RAG génération augmentée par la recherche
Un modèle de langage qui répond à partir de documents retrouvés pour la question, au lieu de sa seule mémoire.
Modèle de langage LLM
Programme entraîné sur de grandes quantités de textes, capable de lire et de rédiger. Ici : Gemini pour rédiger, un modèle plus léger pour les petites tâches.
Hallucination
Affirmation ou citation inventée par un modèle avec assurance. La vérification des citations et l'abstention servent à l'empêcher.
Embedding, vecteur
Suite de nombres qui représente le sens d'un texte. Deux passages qui parlent de la même chose ont des vecteurs proches, même sans mot commun.
Recherche plein texte
Recherche par les mots, qui reconnaît les formes d'un même mot (aimer, aima, aimés) et ignore les accents. Son score, BM25, compte davantage un mot rare qu'un mot courant.
Recherche hybride
Combinaison de la recherche par les mots et de la recherche par le sens, pour cumuler la précision de l'une et la souplesse de l'autre.
DBSF Distribution-Based Score Fusion
Méthode qui fusionne plusieurs classements en un seul à partir de leurs scores, ramenés chacun à la même échelle (moyenne et écart-type).
Reranker cross-encoder
Modèle qui lit la question et un passage ensemble pour noter leur pertinence. Plus lent qu'un index, bien plus fin : on le réserve aux meilleurs candidats.
Péricope, chunk
Unité de sens d'un texte : un récit, une scène, une parabole. En informatique on parle de chunk ; ici, chaque chunk suit une péricope.
Contextual retrieval
Technique qui indexe chaque morceau avec son contexte (œuvre, titre, voisins), pour qu'il reste compréhensible isolé.
Agent, appels d'outils
Modèle qui décide lui-même des recherches à mener, en appelant des fonctions mises à sa disposition, avant de rédiger.
Abstention
Réponse explicite « La bibliothèque ne contient pas la réponse à cette question. », préférée à une réponse sans source.
Verbatim
Texte reproduit à l'identique, caractère pour caractère.
Golden set
Jeu de questions dont la bonne réponse est connue d'avance, qui sert à mesurer chaque réglage.