Un produit parle à travers les traces de son usage et les mots de ses utilisateurs. Il faut savoir les enregistrer proprement, les lire sans se tromper et les respecter.
⏱️ Durée : environ 105 minutes · 🎓 Niveau : avancé · 🏅 Badge : Lecteur de signaux
🎬 L'histoire
HashBox installe un outil d'analyse d'usage. En une semaine, 300 types d'événements s'accumulent, personne ne sait ce que signifie click_btn_3, deux équipes comptent les « utilisateurs actifs » de façons différentes (7 500 d'un côté, 4 100 de l'autre), et un nouveau développeur envoie dans un événement l'adresse e-mail complète des membres. Quelques jours plus tard, le tableau de bord annonce que le taux de conversion d'une nouvelle page est meilleur pour les deux segments… mais pire en tout. Personne ne comprend.
« Mesurer sans plan, c'est accumuler du bruit, dit Sam. Il faut décider avant quelles questions on se pose, définir précisément les événements, protéger les personnes, et connaître quelques pièges statistiques classiques — comme celui où une tendance s'inverse quand on regroupe. »
Tu apprends à rédiger un plan de mesure, à valider des événements, à respecter la vie privée (minimisation, pseudonymisation), à calculer entonnoirs, rétention et fidélité, à repérer le paradoxe de Simpson, à mesurer la satisfaction (NPS) avec une incertitude et à exploiter les retours qualitatifs.
🎯 Ta mission
À la fin, je serai capable de :
- rédiger un plan de mesure relié aux décisions et valider des événements contre un schéma
- appliquer minimisation et pseudonymisation des données personnelles
- calculer entonnoir, rétention par cohorte et indicateurs de fidélité (DAU/MAU)
- reconnaître le paradoxe de Simpson et d'autres pièges d'interprétation
- mesurer la satisfaction (NPS, CSAT) avec un intervalle et classer des retours qualitatifs
🧩 Défi d'échauffement (5 XP)
Un commerçant compte les entrées dans son magasin avec un compteur. Il constate 1 000 entrées par semaine, mais les ventes baissent. Quelles questions le compteur ne peut pas répondre ? Quelles autres mesures (combien repartent sans rien acheter, combien reviennent, que disent les clients à la sortie) apporteraient de l'information ? Et que doit-il faire pour que les clients acceptent d'être comptés et observés ?
💡 Le concept
Du besoin de décision au plan de mesure
On ne mesure pas « tout ce qu'on peut » : on mesure pour répondre à des questions qui conduisent à des décisions.
| Décision | Question | Métrique | Événements nécessaires |
|---|---|---|---|
| Faut-il simplifier l'inscription ? | où abandonne-t-on ? | conversion par étape | inscription_vue, formulaire_envoye, email_confirme |
| Le rappel fonctionne-t-il ? | reprend-on plus après un rappel ? | taux de reprise à 7 jours | rappel_envoye, cours_repris |
Un plan de mesure (tracking plan) liste les événements avec : nom (convention objet_action au passé), déclencheur, propriétés (types), responsable, décision servie.
Qualité des événements
- Schéma : types, valeurs autorisées, propriétés obligatoires. Un événement non conforme est rejeté ou mis en quarantaine.
- Identité : identifiant d'utilisateur stable, identifiant d'événement unique (déduplication).
- Temps : horodatage côté serveur et côté client ; gestion des événements tardifs.
- Versionnage du schéma.
- Tests : les événements critiques sont testés comme du code (HEF-110).
Vie privée
Les données d'usage peuvent identifier des personnes. Principes (RGPD) :
| Principe | Application |
|---|---|
| Minimisation | ne collecter que ce qui sert une décision ; jamais d'e-mail, de nom, de mot de passe dans un événement |
| Finalité | un usage précis, annoncé |
| Consentement / base légale | respecter le refus de suivi |
| Pseudonymisation | remplacer l'identifiant direct par un pseudonyme (HMAC avec clé secrète) |
| Durée de conservation | supprimer ce qui n'est plus utile |
| Droits | accès, effacement |
Un pseudonyme n'est pas une anonymisation : si la clé fuit, on peut ré-identifier.
Métriques courantes
| Métrique | Définition |
|---|---|
| Entonnoir | part des personnes qui atteignent chaque étape |
| Activation | part des nouveaux atteignant le « moment de valeur » (ex. terminer une leçon) |
| Rétention par cohorte | part d'une cohorte (inscrits la même semaine) encore active après n semaines |
| DAU / MAU | utilisateurs actifs par jour / par mois ; le rapport DAU/MAU mesure la fidélité (« stickiness ») |
| Churn | part qui part sur une période |
| AARRR | Acquisition, Activation, Rétention, Recommandation, Revenu |
Définir « actif » avec précision (quel événement, quelle fenêtre) évite les 7 500 contre 4 100.
Pièges d'interprétation
- Paradoxe de Simpson : une tendance présente dans chaque sous-groupe peut s'inverser dans l'ensemble, quand les groupes ont des tailles très différentes. Toujours regarder les segments avant de conclure.
- Biais de survie : analyser seulement ceux qui sont restés.
- Corrélation ≠ causalité : seul un test aléatoire (mission 3) établit l'effet.
- Métriques de vanité : montent sans informer (comptes créés).
- Moyennes trompeuses : préférer médianes et percentiles.
Mesurer la satisfaction
- NPS : « Recommanderiez-vous… ? » de 0 à 10. Promoteurs : 9-10 ; passifs : 7-8 ; détracteurs : 0-6.
NPS = % promoteurs − % détracteurs(de −100 à +100). À calculer avec un intervalle (l'écart type du score +1/0/−1). - CSAT : satisfaction sur une interaction précise (1 à 5).
- CES : effort ressenti.
Retours qualitatifs
Tickets du support, avis, commentaires : à catégoriser (thèmes), compter (nombre de personnes), relier au parcours et à l'impact (gravité). Un retour isolé n'est pas une tendance ; dix retours semblables le sont. Ne pas confondre ce que disent les gens et ce qu'ils font.
Boucler la boucle de retour
Un bon système de retour : collecter → trier → relier aux données d'usage → décider → répondre aux personnes → mesurer l'effet. Dire « nous avons corrigé grâce à vous » fidélise.
🧠 Astuce : pour chaque graphique de ton tableau de bord, écris la décision qu'il pourrait changer. S'il n'en change aucune, supprime-le.
🔍 Exemple pas à pas
Problème : valider des événements contre un plan de mesure (en rejetant les données personnelles), pseudonymiser les identifiants, calculer entonnoir, rétention par cohorte et DAU/MAU sur un journal simulé, démontrer un paradoxe de Simpson, et calculer un NPS avec intervalle.
import hashlib, hmac, math, random, re
from collections import defaultdict
from datetime import date, timedelta
# ---------------- 1. plan de mesure et validation ----------------
PLAN = {
"inscription_vue": {"obligatoires": {"utilisateur", "date"}, "autorisees": {"source"}},
"formulaire_envoye": {"obligatoires": {"utilisateur", "date"}, "autorisees": {"nb_champs"}},
"email_confirme": {"obligatoires": {"utilisateur", "date"}, "autorisees": set()},
"cours_demarre": {"obligatoires": {"utilisateur", "date", "cours"}, "autorisees": set()},
}
INTERDIT = re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+|\b\d{10}\b") # e-mail, numéro de téléphone
def valider(evenement):
nom = evenement.get("nom")
if nom not in PLAN: return f"événement inconnu : {nom}"
p = {k for k in evenement k != }
manquantes = PLAN[nom][] - p
manquantes:
inattendues = p - PLAN[nom][] - PLAN[nom][]
inattendues:
k, v evenement.items():
(v, ) INTERDIT.search(v):
tests = [{: , : , : , : },
{: , : },
{: , : , : },
{: , : , : },
{: , : , : , : , : }]
t tests: (, valider(t) , , t[])
[valider(t) t tests] == [, , , , ]
CLE =
(): hmac.new(CLE, identifiant.encode(), hashlib.sha256).hexdigest()[:]
pseudonyme() == pseudonyme() pseudonyme() != pseudonyme()
(, pseudonyme())
rng = random.Random(); DEBUT = date(, , )
membres = {}
i ():
inscription = DEBUT + timedelta(days=rng.randrange(, ))
p_retour = rng.random() <
jours = {inscription}
s (, ):
rng.random() < p_retour ** ( * s ** ): jours.add(inscription + timedelta(days= * s + rng.randrange(, )))
membres[] = (inscription, jours)
vue, envoye, confirme, demarre = , , ,
(, [ n (vue, envoye, confirme, demarre)])
cohortes = defaultdict()
u, (insc, jours) membres.items(): cohortes[(insc - DEBUT).days // ].append((insc, jours))
()
retention = {}
c (cohortes):
membres_c = cohortes[c]; ligne = []
n (, , , ):
actifs = ( insc, jours membres_c (insc + timedelta(days= * n) <= j < insc + timedelta(days= * (n + )) j jours))
ligne.append(actifs / (membres_c))
retention[c] = ligne; ( + .join( x ligne))
(retention[c][] > retention[c][] c retention)
jour = DEBUT + timedelta(days=)
dau = ( _, (_, jours) membres.items() jour jours)
mau = ( _, (_, jours) membres.items() (jour - timedelta(days=) <= j <= jour j jours))
()
DONNEES = {: {: (, ), : (, )}, : {: (, ), : (, )}}
seg, v DONNEES.items():
()
tot = {v: ((DONNEES[s][v][] s DONNEES), (DONNEES[s][v][] s DONNEES)) v }
()
DONNEES[][][] / > DONNEES[][][] / DONNEES[][][] / > DONNEES[][][] /
tot[][] / tot[][] < tot[][] / tot[][]
():
n = (notes); p = ( x notes x >= ) / n; d = ( x notes x <= ) / n
valeurs = [ x >= - x <= x notes]
moyenne = (valeurs) / n; var = ((v - moyenne) ** v valeurs) / (n - )
marge = * math.sqrt(var / n)
(p - d) * , marge *
notes = [rng.choices((), weights=[, , , , , , , , , , ])[] _ ()]
score, marge = nps(notes)
()
notes_peu = notes[:]; s30, m30 = nps(notes_peu); ()
m30 > * marge * (score) <=
Lecture :
- Le plan de mesure rejette un événement incomplet, un événement inconnu (
click_btn_3), une propriété non prévue, et surtout une donnée personnelle (adresse e-mail dans un champ). - La pseudonymisation par HMAC donne un identifiant stable (on peut compter les utilisateurs) sans révéler l'adresse. Elle n'est pas une anonymisation : la clé doit rester secrète.
- La rétention par cohorte montre la décroissance semaine après semaine ; le rapport DAU/MAU mesure la fidélité. Définir précisément « actif » évite des chiffres contradictoires.
- Paradoxe de Simpson : la nouvelle page B est meilleure dans chacun des deux segments (ordinateur 10 % contre 9 % ; mobile 10 % contre 3 %), alors que les proportions de segments diffèrent entre A et B (B reçoit surtout du mobile, plus difficile) : le résultat agrégé trompe. Toujours regarder les segments et se demander comment les groupes ont été constitués ; seule la randomisation évite ce piège.
- Le NPS s'accompagne d'une marge : avec 30 réponses, elle est plus de deux fois plus large qu'avec 200 ; on ne compare pas deux NPS sans intervalle.
✍️ À toi, avec aide (10 XP)
À partir de ce petit journal d'activité (utilisateur → jours actifs, jour 0 = inscription) :
u1: 0, 1, 7, 8, 15 u2: 0, 7 u3: 0
u4: 0, 2, 3, 9, 14, 21 u5: 0, 1, 2, 8 u6: 0, 14
Calcule :
- la rétention à J7 (actif le jour 7, 8, 9, 10, 11, 12 ou 13 — c'est-à-dire pendant la semaine 1) et à J14 (jours 14 à 20) ;
- la rétention « classique » à J1 (actif le jour 1 exactement) ;
- le nombre moyen de jours actifs par utilisateur, et le rapport DAU/MAU en prenant le mois du jour 0 au jour 29 pour tout le monde (simplification).
💡 Indice 1
Pour la semaine n, regarde si au moins un jour dans [7n, 7n+6].
💡 Indice 2
J1 : le jour 1 est dans la liste.
💡 Indice 3
DAU moyen = (total des jours actifs) / 30.
✅ Réponse
J = {"u1": {0, 1, 7, 8, 15}, "u2": {0, 7}, "u3": {0}, "u4": {0, 2, 3, 9, 14, 21}, "u5": {0, 1, 2, 8}, "u6": {0, 14}}
n = len(J)
semaine = lambda s: sum(1 for j in J.values() if any(7 * s <= x <= 7 * s + 6 for x in j)) / n
j1 = sum(1 for j in J.values() if 1 in j) / n
dau = sum(len(j) for j in J.values()) / 30 # activité moyenne par jour sur 30 jours
mau = n
()
((j1, ), (semaine(), ), (semaine(), )) == (, , )
🚀 À toi, en solo (20 XP)
Pipeline d'événements robuste. Écris un traitement qui reçoit un flux d'événements bruts (liste de dictionnaires, graine fixée) et produit des métriques fiables :
- validation contre le plan (rejets comptés par motif), avec détection des données personnelles ;
- pseudonymisation de l'identifiant ;
- déduplication par identifiant d'événement (les envois en double sont fréquents) ;
- gestion des événements tardifs : un événement horodaté d'il y a plus de 2 jours est accepté mais signalé ; au-delà de 7 jours, rejeté ;
- évolution du schéma : la version 2 de
cours_demarreajouteniveau(optionnel) ; les deux versions coexistent ; - calcule entonnoir, DAU, rétention J7 ;
- teste : 10 % de doublons, 3 % d'événements invalides, 2 % tardifs, 1 % de données personnelles ; vérifie que les métriques ne sont pas affectées par les doublons (comparaison avec le flux propre) et que les rejets sont expliqués.
✅ Pistes de correction
import hashlib, hmac, random, re
from collections import Counter, defaultdict
from datetime import date, timedelta
CLE = b"cle-secrete"
INTERDIT = re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+")
PLAN = {"inscription_vue": ({"utilisateur", "date", "id"}, set()), "formulaire_envoye": ({"utilisateur", "date", "id"}, set()),
"cours_demarre": ({"utilisateur", "date", "id", "cours"}, {"niveau"})} # v2 : niveau optionnel
def pseudo(u): return hmac.new(CLE, u.encode(), hashlib.sha256).hexdigest()[:12]
def traiter(flux, aujourdhui):
vus, rejets, retenus, tardifs = set(), Counter(), [], 0
for e in flux:
nom = e.get("nom")
if nom not in PLAN: rejets["événement inconnu"] += 1; continue
obligatoires, optionnelles = PLAN[nom]; props = {k k e k != }
obligatoires - props: rejets[] += ;
props - obligatoires - optionnelles: rejets[] += ;
((v, ) INTERDIT.search(v) v e.values()): rejets[] += ;
e[] vus: rejets[] += ;
retard = (aujourdhui - date.fromisoformat(e[])).days
retard > : rejets[] += ;
retard > : tardifs +=
vus.add(e[]); retenus.append((e, utilisateur=pseudo(e[])))
retenus, rejets, tardifs
():
par_nom = defaultdict()
e evts: par_nom[e[]].add(e[])
jours = defaultdict()
e evts: jours[e[]].add(e[])
{n: (u) n, u par_nom.items()}, {j: (u) j, u jours.items()}
rng = random.Random(); AUJ = date(, , )
propres = []
i ():
u = ; d = AUJ - timedelta(days=rng.randrange(, ))
propres.append({: , : u, : d.isoformat(), : })
rng.random() < : propres.append({: , : u, : d.isoformat(), : })
rng.random() < : propres.append({: , : u, : d.isoformat(), : , : , **({: } rng.random() < {})})
bruite = (propres)
bruite += rng.sample(propres, (propres) // )
bruite += [{: , : , : AUJ.isoformat(), : } i (((propres) * ))]
bruite += [{: , : , : AUJ.isoformat(), : } i (((propres) * ))]
bruite += [(e, =e[] + , date=(AUJ - timedelta(days=rng.choice([, ]))).isoformat()) e rng.sample(propres, ((propres) * ))]
rng.shuffle(bruite)
retenus, rejets, tardifs = traiter(bruite, AUJ); ref, _, _ = traiter(propres, AUJ)
(, (rejets), , tardifs)
m_bruit, _ = metriques([e e retenus e[].endswith()]); m_ref, _ = metriques(ref)
(, m_bruit, , m_ref)
m_bruit == m_ref rejets[] >= (propres) // - rejets[] == ((propres) * )
⚠️ Pièges classiques
| Piège | Pourquoi c'est un problème | Comment l'éviter |
|---|---|---|
| Mesurer sans plan ni question | Des centaines d'événements incompréhensibles | Plan de mesure relié à des décisions |
| Envoyer des données personnelles dans les événements | Risque légal et de fuite | Minimisation, pseudonymisation, validation automatique |
| Ne pas définir « utilisateur actif » | Deux équipes, deux chiffres | Définition écrite : événement, fenêtre, population |
| Conclure sur un agrégat | Paradoxe de Simpson, biais de survie | Regarder les segments, randomiser pour la causalité |
🐉 Mini-boss (40 XP)
Spécification d'analytics du MVP HashBox.
- plan de mesure : 5 décisions, 10 questions, 12 événements (nom, déclencheur, propriétés typées, décision servie) ;
- validateur d'événements (schéma, données personnelles) et pseudonymisation ;
- générateur de journal simulé (5000 membres, 10 semaines, deux populations) ;
- calcul : entonnoir, activation (définition écrite), rétention par cohorte hebdomadaire, DAU/MAU, churn ;
- un cas de paradoxe de Simpson que tu construis dans tes données, repéré par ton propre code (détecteur : un test qui compare le sens de l'effet agrégé et par segment) ;
- enquête de satisfaction simulée : NPS avec intervalle par segment, et comparaison de deux versions avec test (le NPS a-t-il vraiment changé ?) ;
- 40 retours qualitatifs simulés : classement thématique, comptage de personnes, croisement avec les segments ;
- une page « tableau de bord » sous forme de texte : chaque indicateur relié à une décision, avec seuil d'alerte.
✅ Pistes de correction
Un bon dossier : tableau décisions → questions → métriques → événements, validateur qui rejette les violations (y compris PII), cohortes et DAU/MAU, détecteur de Simpson (fonction qui signale quand le signe de la différence agrégée diffère du signe dans tous les segments), NPS avec intervalle et test de différence, thèmes qualitatifs comptés en personnes, tableau de bord avec seuils d'alerte et décision associée.
⚡ Quiz éclair (15 XP si 4/5 ou plus)
1. Pseudonymiser un identifiant, c'est :
- A. le supprimer définitivement et sans retour
- B. le publier
- C. le remplacer par un pseudonyme dérivé avec une clé secrète, sans être une anonymisation parfaite
2. Le paradoxe de Simpson désigne :
- A. une tendance présente dans chaque sous-groupe qui s'inverse dans l'ensemble
- B. une erreur de calcul de moyenne
- C. une panne de serveur
3. Le NPS se calcule comme :
- A. moyenne des notes
- B. % de promoteurs (9-10) − % de détracteurs (0-6)
- C. nombre de réponses
4. 🔁 Révision mission 07 : Dans RICE, la confiance sert à :
- A. augmenter l'effort
- B. mesurer la portée
- C. pénaliser les estimations spéculatives
5. 🔁 Révision mission 07 : La règle de Smith (WSJF) ordonne les travaux par :
- A. coût du retard par unité de durée, décroissant
- B. durée croissante uniquement
- C. ordre alphabétique
✅ Réponses
- C.
- A.
- B.
- C.
- A.
🪞 Je réfléchis (10 XP)
- Quel chiffre de ton tableau de bord ne changerait aucune décision si tu le supprimais ?
- Collectes-tu aujourd'hui une donnée personnelle dont tu n'as pas besoin ?
🎒 À retenir
- Plan de mesure : décisions → questions → métriques → événements.
- Validation de schéma, déduplication, événements tardifs, versions.
- Minimisation et pseudonymisation ; la clé reste secrète.
- Entonnoir, activation, rétention par cohorte, DAU/MAU : définitions écrites.
- Simpson : regarder les segments ; NPS et retours qualitatifs avec incertitude.
flowchart LR
T(["Analytics et feedback"])
T --> R1["1. Plan de mesure : décisions → questions → métriques → événements."]
T --> R2["2. Validation de schéma, déduplication, événements tardifs, versions."]
T --> R3["3. Minimisation et pseudonymisation ; la clé reste secrète."]
T --> R4["4. Entonnoir, activation, rétention par cohorte, DAU/MAU : définitions…"]
T --> R5["5. Simpson : regarder les segments ; NPS et retours qualitatifs avec…"]
Description du schéma : la mission au centre, reliée aux cinq idées à retenir.
🏅 Récompenses
Total possible : 100 XP · 🏅 Badge Lecteur de signaux
← Mission 07 — Priorisation et roadmap · Mission 09 — Qualité, dette et delivery →
HEF-150 — Ingénierie produit

