Une affirmation sans preuve est une opinion. Une preuve sans contexte est un piège.
⏱️ Durée : environ 70 minutes · 🎓 Niveau : débutant · 🏅 Badge : Chasseur·se de preuves
🎬 L'histoire
Maya annonce en réunion : « Depuis la nouvelle version, tout le monde trouve le site plus rapide ! »
Sam demande : « Combien de personnes ? Comment l'a-t-on mesuré ? Rapide comparé à quoi ? »
Silence. En fait, deux collègues l'ont dit pendant le déjeuner.
Dans cette mission, tu apprends à distinguer une impression d'une preuve, et à mesurer sans te tromper.
🎯 Ta mission
À la fin, je serai capable de :
- distinguer anecdote, observation et mesure
- choisir une bonne métrique pour une question
- expliquer pourquoi la moyenne peut tromper et utiliser la médiane
- définir une valeur de référence avant de comparer
- reconnaître trois biais fréquents
🧩 Défi d'échauffement (5 XP)
Cinq amis disent : « ce restaurant est excellent ». Un sixième ajoute : « moi, j'y ai été malade ». Que peux-tu conclure du restaurant ? Quelles informations te manquent avant de décider d'y aller ? Écris-les.
💡 Le concept
Trois niveaux d'information
| Niveau | Exemple | Fiabilité |
|---|---|---|
| Anecdote | « Un client a dit que c'était lent. » | faible : un seul cas, sans contexte |
| Observation | « Dans les journaux, 12 requêtes ont dépassé 5 secondes hier. » | moyenne : un fait précis |
| Mesure comparée | « Le temps médian est passé de 2,1 s à 1,4 s sur 10 000 requêtes, avant/après la mise à jour. » | forte : chiffrée, comparée, reproductible |
Une bonne mesure répond à quatre questions
- Quoi ? La grandeur précise (temps de réponse de la page de paiement).
- Comment ? Outil, moment, conditions.
- Sur quoi ? Combien de cas, quelle population.
- Par rapport à quoi ? Une référence (avant, objectif, autre version).
Moyenne ou médiane ?
Imagine 9 requêtes à 1 seconde et 1 requête à 100 secondes.
- Moyenne : (9 × 1 + 100) / 10 = 10,9 s : ne décrit personne.
- Médiane (valeur du milieu) : 1 s : décrit la requête typique.
On regarde aussi les extrêmes : le 95ᵉ percentile (la valeur sous laquelle se trouvent 95 % des cas) montre ce que vivent les cas difficiles.
import statistics
temps = [1.0] * 9 + [100.0]
print("moyenne :", statistics.mean(temps)) # 10.9
print("médiane :", statistics.median(temps)) # 1.0
print("max :", max(temps)) # 100.0
Les trois pièges classiques
| Piège (biais) | Description | Exemple |
|---|---|---|
| Biais de confirmation | On ne retient que ce qui confirme notre idée | Lire seulement les avis positifs |
| Biais de survie | On ne regarde que ceux qui « restent » | Interroger seulement les clients actuels |
| Corrélation/causalité | Deux choses ensemble, sans lien de cause | Glaces et noyades (mission 03) |
Preuve suffisante ?
Une preuve est suffisante quand quelqu'un d'autre pourrait refaire la mesure et obtenir le même résultat. C'est la reproductibilité.
🧠 Astuce : écris toujours « combien, comparé à quoi, mesuré comment ».
🔍 Exemple pas à pas
Affirmation : « La nouvelle version est plus rapide. »
1. Question précise : le temps d'affichage de la page « mes missions » a-t-il baissé ?
2. Mesure : temps de réponse de 500 requêtes avant la mise à jour et 500 après, aux mêmes heures de la journée.
3. Résultats (exemple) :
| Avant | Après | |
|---|---|---|
| Médiane | 2,1 s | 1,4 s |
| 95ᵉ percentile | 6,0 s | 6,2 s |
| Maximum | 31 s | 29 s |
4. Lecture honnête : la requête typique est plus rapide (-33 %). Mais les cas difficiles (95ᵉ percentile) n'ont pas bougé : une partie des utilisateurs ne voit aucune amélioration.
5. Conclusion nuancée : « La page est plus rapide pour la majorité des requêtes ; les cas lents restent à investiguer. »
import random, statistics
random.seed(1)
avant = [random.lognormvariate(0.7, 0.6) for _ in range(500)]
apres = [random.lognormvariate(0.3, 0.6) for _ in range(500)]
def p95(valeurs):
s = sorted(valeurs)
return s[int(0.95 * len(s)) - 1]
for nom, v in (("avant", avant), ("après", apres)):
print(nom, round(statistics.median(v), 2), round(p95(v), 2))
✍️ À toi, avec aide (10 XP)
On a mesuré le temps de chargement (en secondes) d'une page : [1.1, 1.2, 1.0, 1.3, 1.1, 9.5, 1.2, 1.0, 1.4, 1.1].
- Calcule moyenne et médiane.
- Laquelle décrit le mieux « l'expérience typique » ? Pourquoi ?
- Que ferais-tu de la valeur 9,5 ?
💡 Indice 1
Trie la liste pour trouver la médiane (moyenne des deux valeurs du milieu pour 10 valeurs).
💡 Indice 2
Moyenne : additionne puis divise par 10.
💡 Indice 3
Ne l'élimine pas sans enquête : c'est peut-être un vrai problème.
✅ Réponse
import statistics
t = [1.1, 1.2, 1.0, 1.3, 1.1, 9.5, 1.2, 1.0, 1.4, 1.1]
print(round(statistics.mean(t), 2), statistics.median(t)) # 1.99 1.15
La médiane (1,15 s) décrit l'expérience typique, la moyenne (2,09 s) est tirée vers le haut par une seule valeur. La valeur 9,5 s mérite une enquête : mesure erronée ou vrai cas lent ? On la garde dans le rapport avec une explication.
🚀 À toi, en solo (20 XP)
Un collègue affirme : « Notre nouveau tutoriel améliore la réussite des quiz : 90 % des membres qui l'ont fini ont réussi. »
- Quels biais possibles vois-tu ?
- Quelles données demanderais-tu ?
- Décris une comparaison plus fiable (qui, combien, comparé à quoi).
✅ Pistes de correction
Biais possibles : biais de survie (ceux qui finissent le tutoriel sont déjà les plus motivés) ; pas de référence (quelle est la réussite de ceux qui ne l'ont pas fait ?) ; corrélation/causalité. Données utiles : taux de réussite des membres qui n'ont pas suivi le tutoriel, comparable en niveau et en ancienneté ; nombre de membres dans chaque groupe. Plan plus fiable : proposer le tutoriel au hasard à la moitié des nouveaux membres, comparer les réussites des deux groupes sur un même quiz.
⚠️ Pièges classiques
| Piège | Pourquoi c'est un problème | Comment l'éviter |
|---|---|---|
| Se fier à une anecdote | Un cas n'est pas la règle | Chercher des données sur beaucoup de cas |
| Utiliser la moyenne seule | Une valeur extrême fausse tout | Regarder médiane et percentiles |
| Comparer sans référence | « rapide » ne veut rien dire seul | Toujours « comparé à quoi ? » |
| Mesure non reproductible | Personne ne peut vérifier | Noter outil, moment, conditions |
🐉 Mini-boss (40 XP)
Tu dois répondre à : « Le nouveau design de la page d'accueil a-t-il augmenté les inscriptions ? »
Rédige un plan de preuve :
- la métrique choisie et sa définition ;
- la référence (avant, groupe témoin…) ;
- la durée et le nombre de cas ;
- trois biais possibles et comment les limiter ;
- ce que tu conclurais si les inscriptions montent de 5 % ;
- ce que tu conclurais si elles ne changent pas.
✅ Pistes de correction
Un bon plan : métrique « inscriptions pour 100 visiteurs uniques » ; groupe témoin avec l'ancien design pendant la même période ; durée suffisante (au moins une semaine complète pour lisser les jours) ; biais : saison, campagne marketing simultanée, public différent entre groupes (limités par la répartition au hasard et la même période). Conclusions nuancées : +5 % n'est significatif que si l'écart dépasse la variation habituelle ; « pas de changement » peut aussi signifier « on n'a pas assez de données ».
⚡ Quiz éclair (15 XP si 4/5 ou plus)
1. Une anecdote est :
- A. un cas isolé, de faible fiabilité
- B. une mesure comparée
- C. une preuve forte
2. Pour décrire la requête typique malgré des valeurs extrêmes, on utilise :
- A. le maximum
- B. la médiane
- C. la somme
3. Une bonne preuve est :
- A. convaincante pour son auteur
- B. rapide à produire
- C. reproductible par quelqu'un d'autre
4. 🔁 Révision mission 01 : Une hypothèse est :
- A. une explication possible non vérifiée
- B. un fait
- C. une solution
5. 🔁 Révision mission 03 : Deux événements simultanés indiquent :
- A. une cause prouvée
- B. une corrélation à tester
- C. une erreur
✅ Réponses
- A.
- B.
- C.
- A.
- B.
🪞 Je réfléchis (10 XP)
- Quelle affirmation entendue récemment manquait de preuves ?
- Quelle donnée simple aurait pu la confirmer ou la contredire ?
🎒 À retenir
- Anecdote < observation < mesure comparée.
- Une mesure dit quoi, comment, sur quoi, par rapport à quoi.
- La médiane résiste aux valeurs extrêmes.
- Méfie-toi des biais de confirmation et de survie.
- Une preuve est reproductible.
flowchart LR
T(["Preuves et mesures"])
T --> R1["1. Anecdote observation mesure comparée."]
T --> R2["2. Une mesure dit quoi, comment, sur quoi, par rapport à quoi."]
T --> R3["3. La médiane résiste aux valeurs extrêmes."]
T --> R4["4. Méfie-toi des biais de confirmation et de survie."]
T --> R5["5. Une preuve est reproductible."]
Description du schéma : la mission au centre, reliée aux cinq idées à retenir.
🏅 Récompenses
Total possible : 100 XP · 🏅 Badge Chasseur·se de preuves
← Mission 06 — Tout assembler : la méthode C-D-R-P-D-V-A · Mission 08 — Apprendre à apprendre →
HEF-000 — Mentalité d'ingénieur

