Repérer les mauvais commentaires et messages avec des modèles de décision locaux
Depuis que ce blog tourne avec son propre code, les commentaires et le formulaire de contact sont les miens, et la modération aussi. Quelqu’un doit donc regarder chaque message qui arrive, et la plupart du temps il s’agit de lire des choses qui n’ont jamais été écrites pour une personne.
Je voulais un modèle qui les lit d’abord et me dit : celui-ci est réel, celui-ci est du spam, celui-ci est une arnaque, celui-ci ne veut rien dire. Il devait tourner sur ma propre machine, être rapide et rester prudent. Voici comment j’y suis arrivé, y compris les moments où mon propre test se trompait.
Ce que je voulais#
Les règles tenaient en quelques lignes :
- Il informe, c’est tout. Un badge, un score et une raison dans l’admin, une ligne dans le message Mattermost. Rien n’est caché et rien n’est supprimé.
- Une vraie personne signalée à tort est pire qu’un spam qui passe. Si un lecteur me demande un tarif journalier et que le modèle répond « spam », ça me coûte plus cher qu’un message de casino dans la boîte.
- Quatre étiquettes :
legit,spam,scametjunk, avec un score de 0 à 5. - Local et pas cher. Ollama sur ma propre machine, pas de facture d’API par commentaire.
J’ai mis tout cela dans un petit package appelé message-rater. Le blog ne parle qu’à une interface, et le modèle derrière peut changer.
Je commence avec Gemma#
La première version était la plus évidente : demander à un modèle de chat. J’ai pris Gemma 4 (gemma4:e4b-it-qat) via l’endpoint compatible OpenAI d’Ollama, avec un prompt qui définit les quatre étiquettes et demande uniquement du JSON :
{
"label": "spam",
"score": 4,
"reason": "generic price probe from a generated-looking sender"
}
Ça marchait, avec un piège. Sur cet endpoint, Gemma 4 réfléchit avant de répondre : le même verdict prenait 45 secondes avec la réflexion activée, et environ une seconde avec reasoning_effort: none. C’est une option d’une ligne, mais on la rate facilement quand les premiers appels sont aussi lents.
Sur un premier jeu de 16 messages en anglais, néerlandais et français, trois petits modèles ont fait 16 sur 16 : gemma4:e4b-it-qat en 0,65 seconde par message, gemma4:e2b-it-qat en 0,39 et granite4.1:3b en 0,24. Le point faible, c’étaient les appâts génériques du genre « Hello, is this still available? » venant d’un expéditeur qui a l’air généré. Trois exemples dans le prompt ont réglé l’essentiel : sur 28 cas difficiles, le modèle est passé de 21 à 27 bonnes réponses. J’ai aussi essayé une règle brutale contre les questions de prix, puis je l’ai abandonnée, parce qu’elle signalait de vraies personnes qui demandaient un tarif journalier.
Gemma était donc assez bon pour être livré, et c’est celui auquel le blog est branché. Mais il écrit un verdict, il met environ 0,6 seconde, et il ne dit jamais à quel point il est sûr, à part le score qu’il écrit.
Les modèles de décision#
Puis j’ai découvert qu’Ollama propose maintenant un autre type de modèle. Un modèle de décision ne discute pas. On lui donne un texte et une question avec les réponses possibles, et il renvoie une probabilité pour chaque réponse en un seul passage. Il n’y a pas de texte à analyser et pas de réflexion à désactiver.
Le premier que j’ai regardé est d3, du projet vLLM Semantic Router, disponible en 2B, 4B, 9B et 27B. On l’appelle sur /v1/systemone, ici raccourci :
{
"model": "d3:4b",
"state": "<sender>\nname: Kimberlyqwe\nemail: xqvbn8812@gmail.com\n</sender>\n<text>\nHello, is this still available?\n</text>",
"questions": {
"kind": {
"type": "choice",
"instructions": "The text comes from a website's contact or comment form. Which kind is it? ...",
"criteria": {
"legit": "A real person writing something the owner would want to read: ...",
"spam": "Advertising, SEO or backlink offers, casino, pills, loans, ...",
"scam": "Fraud and phishing: inheritance or lottery, romance or investment schemes, ...",
"junk": "Nothing a person meant to say: gibberish, keyboard mashing, test text, ..."
}
}
}
}
et il répond avec des chiffres :
{
"type": "choice",
"choice": "scam",
"probabilities": {
"legit": 0.0001,
"spam": 0.003,
"scam": 0.9966,
"junk": 0.0003
},
"confidence": 0.98
}
Une probabilité, c’est ce qui me manquait. Au moment où j’écris, il y en a 14 dans la catégorie « decision » de la bibliothèque Ollama, de plusieurs éditeurs : d3 était donc un début et pas la fin de la liste.
Un premier test qui ne prouvait rien#
J’ai réuni 38 messages, spam, arnaques, messages inutiles et vrais messages dans quatre langues, et j’ai fait tourner d3 et Gemma dessus :
| Modèle | Bonnes réponses | Vitesse par message |
|---|---|---|
| d3:4b | 36 sur 38 | 165 ms |
| d3:2b | 35 sur 38 | 77 ms |
| gemma4:e4b | 38 sur 38 | 631 ms |
Gemma avait l’air parfait, et d3 quatre fois plus rapide avec deux ou trois erreurs. Les deux conclusions étaient fausses. Le prompt de Gemma contient trois exemples, et trois de mes messages de test étaient ces exemples. Évidemment qu’il les connaissait. Et avec seulement 38 messages, une seule erreur déplaçait le pourcentage de 2,6 points.
Un test plus grand#
Il me fallait plus de messages que je ne pouvais en écrire, alors je les ai générés. Un Qwen3.6 local (35B) a écrit des messages pour chaque combinaison de catégorie, de style et de langue : anglais, néerlandais, français, allemand et espagnol ; vraies questions, rapports de bug, critiques directes, offres SEO, spam de casino, arnaques sentimentales, fausses factures, touches tapées au hasard, etc. Après suppression des doublons, cela donnait 583 messages : 161 légitimes, 167 spam, 159 arnaques et 96 messages inutiles.
| Modèle | Étiquette exacte | Vrais messages signalés | Indésirables passés pour légitimes | Vitesse |
|---|---|---|---|---|
| d3:4b | 78,0 % | 11,8 % | 18,5 % | 5,7 msg/s |
| d3:2b | 71,7 % | 19,3 % | 19,0 % | 12,1 msg/s |
| gemma4:e4b | 74,3 % | 1,9 % | 26,3 % | 1,5 msg/s |
Il y avait maintenant un compromis, et pas de gagnant. d3:4b était plus précis et quatre fois plus rapide, mais il signalait un vrai message sur huit, et Gemma presque jamais. Vu ma première règle, c’était Gemma le plus prudent.
Exécution en parallèle#
Le blog ne note pas les messages un par un, mais en arrière-plan. J’ai donc aussi mesuré ce qui se passe avec plusieurs requêtes à la fois, sur un sous-ensemble de 150 messages :
| Clients | 1 | 2 | 4 | 6 | 12 |
|---|---|---|---|---|---|
| d3:4b | 5,7 | 6,0 | 5,9 | 5,8 | 5,8 |
| d3:2b | 12,7 | 13,2 | 13,2 | 13,2 | 13,2 |
| gemma4:e4b | 1,5 | 2,3 | 3,3 | 3,9 | 3,9 |
(messages par seconde)
Gemma monte jusqu’aux six slots parallèles que mon Ollama autorise (OLLAMA_NUM_PARALLEL=6), puis plafonne. d3 ne monte pas du tout : un client ou douze, la vitesse est la même. Sur Ollama 0.40.16, on dirait que l’endpoint de décision traite une requête à la fois. Même ainsi, d3:4b seul est plus rapide que Gemma avec six clients, et le 2B est plus de trois fois plus rapide. Pour un blog, cela ne change pas grand-chose, mais c’est bon à savoir avant de dimensionner une file d’attente.
Mes données de test étaient fausses#
J’ai ensuite soupçonné les étiquettes générées. On avait demandé au générateur « un message de spam en néerlandais », et parfois il écrivait quelque chose de parfaitement normal. Un « tolles Tutorial! Kannst du mir sagen wie ich das Volume mounten muss? » en allemand était sorti étiqueté comme arnaque. Si le modèle répond « légitime » à ce message, mon test dit que le modèle se trompe.
J’ai donc fait relire tous les messages sur lesquels au moins un modèle n’était pas d’accord avec l’étiquette, 208 au total, et corrigé l’étiquette quand le texte disait clairement autre chose. 104 étiquettes ont changé. Le plus gros groupe, 38, c’étaient de vrais compliments ou de vraies questions générés comme du spam, et 14 messages « junk » étaient en fait de vraies remarques. Pour 30 autres, je ne pouvais pas trancher (« Hey », « Goede artikelen! », un pouce levé), je les ai donc retirés. Il restait 553 messages : 216 légitimes, 118 spam, 147 arnaques et 72 messages inutiles. Pour vérifier que je n’avais pas nettoyé uniquement les messages qui divergeaient, j’en ai contrôlé 45 au hasard parmi ceux où tous les modèles étaient d’accord, et aucun n’avait une mauvaise étiquette.
Les trois mêmes modèles sur le jeu nettoyé :
| Modèle | Étiquette exacte | Vrais messages signalés | Indésirables passés pour légitimes |
|---|---|---|---|
| d3:4b | 91,7 % | 7,9 % | 4,5 % |
| d3:2b | 85,9 % | 14,4 % | 4,5 % |
| gemma4:e4b | 90,2 % | 0,5 % | 9,8 % |
Tout le monde s’est amélioré, et l’écart entre d3:4b et Gemma s’est réduit à un compromis : d3 attrape plus d’indésirables, Gemma signale moins de vrais messages.
Mieux demander, et admettre qu’on n’est pas sûr#
Mon idée suivante, c’était le prompt. J’ai essayé cinq façons de poser la même question à d3:4b : la version de base, une version plus courte, une qui dit « choisis légitime sauf si c’est clairement indésirable », une avec des exemples de messages dans les critères, et une version à deux réponses (voulu ou indésirable).
L’idée la plus intéressante est venue de la sortie. d3 donne une probabilité, alors pourquoi faudrait-il toujours trancher ? S’il est sûr à 95 % qu’un message est indésirable, on le signale. S’il l’est à 60 %, il le dit et me laisse décider. J’appelle ce troisième état unsure (incertain) :
- la probabilité qu’un message soit indésirable est
1 - P(legit) - à partir d’un seuil élevé, c’est du spam, une arnaque ou un message inutile (le plus probable des trois)
- en dessous de 0,5, c’est légitime
- entre les deux, c’est incertain, et une personne décide
Pour rester honnête, j’ai choisi le seuil sur une moitié des messages et mesuré sur l’autre moitié, qui comptait 95 vrais messages et 184 indésirables.
| Prompt | Seuil | Vrais messages : signalés / incertains / ok | Indésirables : signalés / incertains / passés pour légitimes |
|---|---|---|---|
| De base | 0,9 | 0 / 11 / 84 | 88 % / 8 % / 4 % |
| Court | 0,5 | 3 / 0 / 92 | 93 % / 0 % / 7 % |
| Légitime par défaut | 0,5 | 2 / 0 / 93 | 92 % / 0 % / 8 % |
| Avec exemples | 0,8 | 1 / 5 / 89 | 91 % / 4 % / 5 % |
| Voulu ou indésirable | 0,8 | 0 / 5 / 90 | 93 % / 2 % / 5 % |
| Gemma (même moitié) | 1 signalé | en laisse passer 9 % |
Deux choses ressortent. La formulation du prompt compte beaucoup moins que je ne le pensais : les cinq sont à quelques points les uns des autres. Le seuil, lui, compte beaucoup. Avec une coupure simple à 0,5, le prompt de base signale 11 des 95 vrais messages. Avec 0,9 et une zone d’incertitude, il n’en signale aucun, et les 11 deviennent incertains. La part d’indésirables qui passent pour légitimes reste à 4 %, contre 9 % pour Gemma.
Dans le rater#
Je l’ai ajouté à message-rater comme second driver : Gemma reste le choix par défaut, et rien ne change pour ceux qui ne le demandent pas :
message_rater:
driver: systemone
base_url: 'http://localhost:11434/v1'
model: 'd3:4b'
unwanted_threshold: 0.9
unsure_threshold: 0.5
La note reçoit une cinquième étiquette, unsure. Elle n’est jamais « indésirable », quel que soit son score : aucun code ne peut donc supprimer un message à cause d’elle. La « raison » n’est plus une phrase mais les probabilités (spam 88%, scam 4%, legit 7%), parce qu’un modèle de décision n’écrit pas de phrases. Le rater refuse de démarrer si le seuil d’incertitude est au-dessus du seuil d’indésirable, et la clé de cache contient le modèle et les deux seuils, si bien qu’en changer ne ressert jamais d’anciens verdicts.
Pour vérifier le vrai rater et pas seulement mon script Python, je l’ai fait tourner sur la même moitié de test, 279 messages. Aucun des 95 vrais messages n’a été signalé, 7 sont partis en incertains et 88 étaient bons. Parmi les indésirables, 88 % ont été signalés, 9 % étaient incertains et 3 % sont passés pour légitimes, à 5,6 messages par seconde. C’est la version 0.1.0-rc.5.
Les autres modèles de décision#
Après d3, j’ai essayé les autres de la bibliothèque qui tiennent sur ma machine, avec le même prompt et les mêmes messages nettoyés. Le prompt a été écrit pour d3, ce qui avantage d3 un peu. L’AUC, c’est la chance qu’un message indésirable pris au hasard reçoive un score plus élevé qu’un vrai message pris au hasard : 1,0 est parfait, et il n’y a pas de seuil à choisir.
| Modèle | Taille | AUC | Vitesse | Vrais messages : signalés / incertains / ok (sur 95) | Indésirables : signalés / incertains / passés |
|---|---|---|---|---|---|
| kev (4B, q4) | 2,7 Go | 0,991 | 4,7/s | 1 / 4 / 90 | 92 % / 4 % / 4 % |
| d3:4b | 5,8 Go | 0,990 | 5,8/s | 0 / 11 / 84 | 88 % / 8 % / 4 % |
| tev1:4b | 4,6 Go | 0,986 | 5,3/s | 3 / 6 / 86 | 86 % / 10 % / 4 % |
| d1 (3B) | 3,7 Go | 0,983 | 10,8/s | 2 / 0 / 93 | 88 % / 0 % / 12 % |
| d1-omni (600M) | 0,85 Go | 0,842 | 43/s | presque tout est incertain | |
| laya (multilingue) | 0,66 Go | 0,812 | 47/s | presque tout est incertain | |
| tev1:0.8b | 0,83 Go | 0,770 | 22/s | en laisse passer 39 % |
Les trois premiers sont à égalité. Les écarts entre eux sont plus petits que ce que je peux mesurer avec 95 et 184 messages. d1 est deux fois plus rapide et un peu moins bon pour classer, et il n’a pas de bon terrain d’entente : à son meilleur seuil, il laisse passer 12 % des indésirables. Les trois petits, sous un gigaoctet, ne servent à rien pour ça. Ils ne sont presque jamais sûrs, dans aucun sens.
Quelques modèles n’ont pas pu participer. pplx-decider-flash n’existe qu’en formats MLX, qui demandent du matériel Apple, et strands-decider aussi. nimble-v3 a une licence non commerciale. Je n’ai pas non plus vérifié les licences de ceux qui ont tourné, et pour un projet à moi ce n’est pas un détail : d3 est sous Apache 2.0 sur sa page Ollama, alors que je n’ai pas trouvé de licence pour kev et que d1 a la sienne.
Ce que je n’ai pas fait#
- Les modèles 9B (
nimble,clef-flashet d’autres), je les ai gardés pour plus tard. Les modèles 4B laissent déjà passer environ 4 % des indésirables, je n’en attends donc pas beaucoup plus. - De vrais messages. Tout ce qui précède est généré, puis réétiqueté. Le vrai test, c’est un essai à blanc sur la vraie boîte de réception, avec moi comme juge.
- Le blog lui-même est toujours branché sur Gemma. Passer à d3 demande d’abord d’afficher « incertain » dans l’admin, puisque c’est un état que l’admin n’avait pas.
Pour finir#
Si vous voulez repérer du spam en local, ce que je retiens, ce n’est pas un nom de modèle. Un modèle de décision donne une probabilité, et une probabilité permet de dire « je ne sais pas », ce qu’un modèle de chat qui écrit un verdict ne permet pas. Cela m’a fait gagner plus que n’importe quel changement de prompt. Et quel que soit votre test, relisez d’abord vos propres données : la moitié de ce que j’avais pris pour une erreur du modèle était une mauvaise étiquette.
Je donnerai des nouvelles quand je l’aurai fait tourner sur la vraie boîte de réception.
Commentaires
Il n’y a pas encore de commentaire. Soyez le premier à en écrire un.
Écrire un commentaire