Une idée est une hypothèse qui s'ignore. La rendre testable, c'est décider à l'avance ce qui la prouverait ou la réfuterait — avant d'avoir peur du résultat.
⏱️ Durée : environ 110 minutes · 🎓 Niveau : avancé · 🏅 Badge : Testeur d'idées
🎬 L'histoire
L'équipe de HashBox pense qu'un rappel par e-mail après trois jours d'inactivité augmentera la reprise des cours. Elle l'envoie à tous les membres, constate que la reprise passe de 12 % à 13,4 % et annonce un succès. Une analyste demande : « Sur combien de personnes ? Comparé à quoi ? Et si je vous montrais que d'une semaine à l'autre, la reprise varie spontanément de 11 % à 14 % ? » Personne ne sait.
« Nous avons célébré une variation qui était peut-être du bruit, dit Sam. Pour décider, il faut trois choses avant l'expérience : une hypothèse précise, un critère de succès chiffré, et un moyen de distinguer un effet réel du hasard. Sinon, on trouve toujours une raison de se féliciter. »
Tu apprends à écrire des hypothèses testables, à repérer l'hypothèse la plus risquée, à choisir une expérience adaptée (porte factice, concierge, test A/B), à calculer la taille d'échantillon, à éviter les erreurs de lecture (regarder trop tôt, tests multiples) et à décider : continuer, pivoter, arrêter.
🎯 Ta mission
À la fin, je serai capable de :
- écrire une hypothèse falsifiable avec critère de succès fixé à l'avance
- identifier l'hypothèse la plus risquée à tester en premier
- choisir une expérience proportionnée (porte factice, concierge, test A/B)
- calculer une taille d'échantillon et réaliser un test de deux proportions
- expliquer et simuler les pièges : regarder les résultats trop tôt, comparaisons multiples
🧩 Défi d'échauffement (5 XP)
Tu penses qu'un nouveau trajet est plus rapide. Avant de le tester, quelle règle te donnes-tu pour dire « oui, il est vraiment plus rapide » : un gain de 2 minutes sur un essai ? De 5 minutes sur la moyenne de 10 essais ? Quelles raisons ordinaires (trafic, météo) pourraient fausser la comparaison ? Pourquoi fixer la règle avant de faire les essais ?
💡 Le concept
Une hypothèse bien formée
Nous croyons que [changement]
pour [segment]
produira [résultat observable],
parce que [raison].
Nous saurons que c'est vrai quand [métrique] atteindra [seuil] en [durée].
Exemple : « Nous croyons qu'un rappel par e-mail après 3 jours d'inactivité, envoyé aux membres inscrits depuis moins de 30 jours, fera passer la reprise de cours à 7 jours de 12 % à 15 %, parce que l'oubli est la première cause d'abandon dans les entretiens. Nous saurons que c'est vrai quand la reprise du groupe recevant le rappel dépassera celle du groupe témoin d'au moins 2 points sur 4 semaines. »
Une hypothèse falsifiable peut être réfutée par les faits. « Les utilisateurs aimeront » n'est pas falsifiable.
Les hypothèses sous-jacentes
Une idée repose sur plusieurs hypothèses. On les liste, puis on les classe par :
- risque : si elle est fausse, tout s'effondre ? (importance) ;
- incertitude : sait-on si elle est vraie ? (manque de preuves).
On teste d'abord l'hypothèse importante et incertaine : c'est la plus risquée. Les quatre catégories de risque (valeur, utilisabilité, faisabilité, viabilité — mission 1) aident à ne rien oublier.
Les expériences, du plus léger au plus lourd
| Expérience | Principe | Apprend |
|---|---|---|
| Entretien de problème | écouter | le problème existe-t-il ? |
| Porte factice (fake door) | afficher le bouton d'une fonction qui n'existe pas ; mesurer les clics | l'intérêt réel (comportement) |
| Page de destination | présenter la promesse, mesurer les inscriptions | la demande |
| Prototype | maquette cliquable | utilisabilité |
| Concierge | rendre le service à la main à quelques clients | la valeur, avant d'automatiser |
| Magicien d'Oz | l'utilisateur croit à un produit automatique, un humain le fait | idem |
| Test A/B |
Règle : le moins cher qui répond à la question. Un test A/B de trois mois pour savoir si quelqu'un veut une fonctionnalité est un gaspillage.
Critères de décision fixés à l'avance
Avant l'expérience, écrire :
| Résultat observé | Décision |
|---|---|
| ≥ seuil de succès | persévérer |
| entre seuil d'échec et de succès | continuer à apprendre (itérer, prolonger) |
| ≤ seuil d'échec | pivoter ou arrêter |
Décider après avoir vu le résultat conduit à s'arranger avec les chiffres.
Test A/B : les bases statistiques
Deux groupes aléatoires : A (témoin) et B (variante). Métrique de conversion p_A, p_B.
- Hypothèse nulle H₀ : pas de différence réelle.
- Test de deux proportions (z) :
z = (p_B − p_A) / √(p(1−p)(1/n_A + 1/n_B))avecpla proportion globale.|z| > 1,96↔ p-valeur < 5 %. - Erreur de type I (faux positif, α = 5 %) : voir un effet qui n'existe pas.
- Erreur de type II (faux négatif, β) : manquer un effet réel. La puissance
1 − β(typiquement 80 %). - Effet minimal détectable : plus l'effet est petit, plus l'échantillon doit être grand.
Taille d'échantillon par groupe (approximation) :
n ≈ 2 · (z_α/2 + z_β)² · p(1−p) / δ² (δ = différence à détecter ; z_α/2 = 1,96 ; z_β = 0,84 pour 80 % de puissance)
Pour détecter 12 % → 14 % (δ = 0,02) : environ 4 000 personnes par groupe.
Les pièges de lecture
| Piège | Explication | Remède |
|---|---|---|
| Regarder trop tôt (peeking) | arrêter dès que p < 0,05 gonfle les faux positifs (jusqu'à 20-30 % avec de nombreux coups d'œil) | fixer la durée / l'échantillon à l'avance, ou utiliser des méthodes séquentielles |
| Comparaisons multiples | tester 20 métriques : une sera « significative » par hasard | une métrique principale décidée à l'avance, correction (Bonferroni) |
| Effet de nouveauté | l'intérêt initial retombe | durée suffisante |
| Contamination | les groupes se mélangent | randomisation par utilisateur |
| Échantillon trop petit | résultat bruité | calcul de taille préalable |
| Significativité ≠ importance | un effet minuscule peut être « significatif » avec un énorme échantillon | regarder l' et l'intervalle de confiance |
Quand le test A/B n'est pas possible
Peu de trafic, produit neuf : privilégier les expériences qualitatives et les engagements (précommandes, listes d'attente, paiement d'avance) plutôt que des statistiques sur de petits nombres.
Décider : persévérer, pivoter, arrêter
Un pivot change une hypothèse fondamentale (segment, problème, solution) en gardant ce qu'on a appris. Arrêter est une décision de succès quand elle économise des mois d'effort sur une idée réfutée.
🧠 Astuce : écris la phrase « si on observe X, on arrête » avant l'expérience. Si tu n'arrives pas à l'écrire, l'expérience ne servira pas à décider.
🔍 Exemple pas à pas
Problème : tester une hypothèse de rappel par e-mail avec un test de deux proportions, calculer la taille d'échantillon nécessaire, simuler la puissance, et montrer par simulation que regarder les résultats trop tôt multiplie les faux positifs.
import math, random
# ---------------- 1. test de deux proportions ----------------
def test_deux_proportions(succes_a, n_a, succes_b, n_b):
pa, pb = succes_a / n_a, succes_b / n_b
p = (succes_a + succes_b) / (n_a + n_b)
erreur = math.sqrt(p * (1 - p) * (1 / n_a + 1 / n_b))
z = (pb - pa) / erreur
# p-valeur bilatérale via la fonction d'erreur
pvaleur = math.erfc(abs(z) / math.sqrt(2))
ecart = math.sqrt(pa * (1 - pa) / n_a + pb * (1 - pb) / n_b)
return {"diff": pb - pa, "z": z, "p": pvaleur, "ic95": (pb - pa - 1.96 * ecart, pb - pa + 1.96 * ecart)}
# la « victoire » annoncée : 12 % → 13,4 % ; sur 1 000 personnes par groupe
r = test_deux_proportions(120, 1000, 134, 1000)
print(f"1 000 par groupe : +{r['diff'] * 100:.1f} points, z = {r['z']:.2f}, p = {r['p']:.2f}, IC95 = [{r['ic95'][0] * 100:+.1f} ; {r['ic95'][1] * 100:+.1f}] points")
r[] > r[][] < < r[][]
r2 = test_deux_proportions(, , , )
()
r2[] <
():
p2 = p_base + delta
p_moy = (p_base + p2) /
math.ceil( * (alpha_z + puissance_z) ** * p_moy * ( - p_moy) / delta ** )
()
delta (, , , ):
()
taille_echantillon(, ) > taille_echantillon(, ) > * taille_echantillon(, )
():
rng, gagnes = random.Random(graine),
_ (essais):
a = (rng.random() < p_base _ (n)); b = (rng.random() < p_base + delta _ (n))
a + b test_deux_proportions(a, n, b, n)[] < : gagnes +=
gagnes / essais
n = taille_echantillon(, )
()
()
< puissance(, , n) < puissance(, , ) <
():
rng, faux = random.Random(graine),
_ (essais):
a = b = ; vu =
n (, n_max + ):
a += rng.random() < ; b += rng.random() <
regarde_tout_le_temps n % pas == test_deux_proportions(a, n, b, n)[] < :
vu = ;
regarde_tout_le_temps test_deux_proportions(a, n_max, b, n_max)[] < : vu =
faux += vu
faux / essais
fp_fixe, fp_peeking = faux_positifs(), faux_positifs()
()
fp_fixe < fp_peeking > * fp_fixe
(): - ( - alpha) ** k
()
k (, , , ):
()
(au_moins_un_faux(), ) ==
():
bas, haut = ic95
bas >= seuil_succes:
haut <= seuil_echec:
(decision(r[]), , decision(r2[]), , decision((, )), , decision((-, )))
[decision(r[]), decision((, )), decision((-, ))] == [, , ]
Lecture :
- Avec 1 000 personnes par groupe, l'écart de +1,4 point n'est pas significatif (p ≈ 0,5 ; l'intervalle contient 0) : l'annonce de succès n'était pas justifiée. Avec 20 000 par groupe, le même écart est hautement significatif.
- La taille d'échantillon grandit comme l'inverse du carré de l'effet : détecter +1 point exige près de 4 fois plus de monde que +2 points.
- La simulation de puissance confirme le calcul : avec la taille prévue, on détecte l'effet réel environ 80 % du temps ; avec 1 000 par groupe, on le manque presque toujours.
- Le peeking : sur des tests A/A (aucune vraie différence), regarder toutes les 200 personnes et s'arrêter dès que « p < 0,05 » multiplie par plus de 3 la fréquence des faux positifs.
- Tester 20 métriques donne 64 % de chances d'en trouver une « significative » par pur hasard.
- La règle de décision est écrite avant l'expérience et s'applique à l'intervalle de confiance.
✍️ À toi, avec aide (10 XP)
On veut tester une page d'inscription simplifiée. Conversion actuelle : 8 %. On ne s'intéresse à la modification que si elle apporte au moins +1,5 point. Le site reçoit 600 visiteurs par jour, répartis également entre les deux versions.
- Combien de visiteurs par groupe faut-il (puissance 80 %, α = 5 %) ? Combien de jours ?
- Après 5 jours, on observe A : 118/1500, B : 141/1500. Calcule la p-valeur et l'intervalle de confiance. Que décides-tu ?
- Si le trafic était de 100 visiteurs par jour, que ferais-tu à la place d'un test A/B ?
💡 Indice 1
Utilise taille_echantillon(0.08, 0.015).
💡 Indice 2
Utilise test_deux_proportions.
💡 Indice 3
Avec peu de trafic, l'effet détectable est grand : cherche des expériences qualitatives.
✅ Réponse
import math
def taille(p, d, za=1.96, zb=0.84):
pm = p + d / 2
return math.ceil(2 * (za + zb) ** 2 * pm * (1 - pm) / d ** 2)
def test(sa, na, sb, nb):
pa, pb = sa / na, sb / nb; p = (sa + sb) / (na + nb)
z = (pb - pa) / math.sqrt(p * (1 - p) * (1 / na + 1 / nb)); e = math.sqrt(pa * (1 - pa) / na + pb * (1 - pb) / nb)
return z, math.erfc(abs(z) / math.sqrt(2)), (pb - pa - 1.96 * e, pb - pa + 1.96 * e)
n = taille(0.08, 0.015)
print("par groupe :", n, "→ jours :", math.ceil(2 * n / 600))
z, p, ic = test(118, 1500, 141, 1500)
print(f"z = {z:.2f}, p = {p:.3f}, IC95 = [{ic[0] * 100:+.2f} ; {ic[1] * :+f}] points")
< n < p >
🚀 À toi, en solo (20 XP)
Test séquentiel contrôlé. Pour pouvoir regarder les résultats pendant l'expérience sans gonfler les faux positifs :
- implémente une règle d'arrêt à
K = 5analyses intermédiaires avec un seuil ajusté (Pocock : p < 0,0158 à chaque analyse pour α global = 5 %, approximation à utiliser) ; - simule 2 000 tests A/A (aucune différence) : mesure le taux de faux positifs avec (a) seuil 0,05 à chaque coup d'œil, (b) seuil ajusté 0,0158, (c) une seule analyse finale à 0,05 ;
- simule 2 000 tests A/B avec un vrai effet de +2 points (conversion 12 % → 14 %, n_max = taille calculée) : mesure la puissance de chaque règle et le nombre moyen de visiteurs utilisés avant l'arrêt ;
- conclus : quel compromis le test séquentiel apporte-t-il ?
✅ Pistes de correction
import math, random
def pval(sa, na, sb, nb):
pa, pb = sa / na, sb / nb; p = (sa + sb) / (na + nb)
if p in (0, 1): return 1.0
z = (pb - pa) / math.sqrt(p * (1 - p) * (1 / na + 1 / nb)); return math.erfc(abs(z) / math.sqrt(2))
def essai(p_a, p_b, n_max, regle, graine, K=5):
rng = random.Random(graine); a = b = 0
points = [n_max * (k + 1) // K for k in range(K)]
for n in range(1, n_max + 1):
a += rng.random() < p_a; b += rng.random() < p_b
if n in points:
if regle == "naif" and pval(a, n, b, n) < 0.05: return True, 2 * n
if regle == "pocock" and pval(a, n, b, n) < 0.0158: return True, * n
regle == n == n_max: pval(a, n, b, n) < , * n
, * n_max
():
positifs = total =
g (essais):
ok, n = essai(, p_b, n_max, regle, g); positifs += ok; total += n
positifs / essais, total / essais
()
resultats = {}
regle (, , ):
fp, _ = mesurer(, regle); pu, visiteurs = mesurer(, regle)
resultats[regle] = (fp, pu, visiteurs)
()
resultats[][] > resultats[][] < resultats[][] <
resultats[][] < resultats[][]
⚠️ Pièges classiques
| Piège | Pourquoi c'est un problème | Comment l'éviter |
|---|---|---|
| Hypothèse floue (« ils aimeront ») | Impossible à réfuter, donc à apprendre | Format Nous croyons / Nous saurons que c'est vrai quand |
| Décider du critère après avoir vu les résultats | On s'arrange avec les chiffres | Seuils de succès et d'échec fixés avant |
| S'arrêter dès que p < 0,05 | Faux positifs multipliés par 3 ou plus | Taille et durée fixées, ou méthode séquentielle |
| Tester 20 métriques et célébrer celle qui sort | Un faux positif quasi certain | Une métrique principale décidée à l'avance, correction |
🐉 Mini-boss (40 XP)
Plan d'expérimentation de HashBox. Pour l'idée « rappel par e-mail après 3 jours d'inactivité » :
- liste au moins 6 hypothèses sous-jacentes (valeur, utilisabilité, faisabilité, viabilité) et classe-les par risque × incertitude ; désigne la plus risquée ;
- propose une expérience proportionnée pour chacune des trois plus risquées (porte factice, concierge, A/B) ;
- écris l'hypothèse principale au format complet, la métrique principale, le segment, la durée, la taille d'échantillon calculée et les règles de décision (persévérer / apprendre / arrêter) ;
- simule l'expérience (graine fixée) avec trois « mondes » : effet réel +3 points, +0,5 point, 0 ; applique ta règle de décision et ta règle séquentielle ; mesure le taux de bonnes décisions sur 500 répétitions ;
- calcule le coût de l'expérience en jours de trafic et le compare à celui de construire la fonctionnalité sans test (coût hypothétique) ;
- rédige le compte rendu d'une expérience qui réfute l'hypothèse et la décision d'arrêter, sans chercher à sauver l'idée.
✅ Pistes de correction
Un bon travail : tableau des hypothèses (par exemple « les membres ouvrent les e-mails de la plateforme » est important et incertain, donc testable par porte factice ou envoi à 200 personnes), expériences adaptées, plan chiffré (taille, durée), simulation des trois mondes avec un taux de bonnes décisions élevé quand l'effet est réel et très faible taux de faux « persévérer » quand il est nul, comparaison coût de l'expérience contre coût de développement, et compte rendu honnête d'une réfutation (« nous arrêtons : l'intervalle de confiance exclut +1 point »).
⚡ Quiz éclair (15 XP si 4/5 ou plus)
1. Une hypothèse falsifiable est une hypothèse :
- A. qu'on ne peut jamais tester
- B. que des observations peuvent réfuter, avec un critère fixé à l'avance
- C. qui plaît à tout le monde
2. S'arrêter dès que « p < 0,05 » pendant l'expérience :
- A. n'a aucun effet
- B. réduit les faux positifs
- C. augmente fortement le taux de faux positifs
3. Pour détecter un effet deux fois plus petit, l'échantillon nécessaire est environ :
- A. quatre fois plus grand
- B. deux fois plus grand
- C. identique
4. 🔁 Révision mission 02 : Pour obtenir une information fiable en entretien, on demande plutôt :
- A. si elle utiliserait notre idée
- B. ce que la personne a fait la dernière fois
- C. si elle trouve l'idée géniale
5. 🔁 Révision mission 02 : L'opportunité d'un besoin est forte quand :
- A. l'importance est faible
- B. la satisfaction est maximale
- C. l'importance est forte et la satisfaction actuelle faible
✅ Réponses
- B.
- C.
- A.
- B.
- C.
🪞 Je réfléchis (10 XP)
- Quelle décision récente de ton équipe repose sur une hypothèse que personne n'a écrite ?
- Quel seuil d'échec as-tu déjà fixé avant une expérience, et qu'as-tu fait en le voyant atteint ?
🎒 À retenir
- Hypothèse : Nous croyons / Nous saurons que c'est vrai quand ; falsifiable.
- Tester d'abord l'hypothèse importante et incertaine.
- Expérience la moins chère qui répond : porte factice, concierge, A/B.
- Taille d'échantillon ∝ 1/δ² ; puissance 80 %, α 5 %.
- Pièges : peeking, comparaisons multiples ; décision fixée à l'avance.
flowchart LR
T(["Hypothèses et validation"])
T --> R1["1. Hypothèse : Nous croyons / Nous saurons que c'est vrai quand ;…"]
T --> R2["2. Tester d'abord l'hypothèse importante et incertaine."]
T --> R3["3. Expérience la moins chère qui répond : porte factice, concierge, A/B."]
T --> R4["4. Taille d'échantillon ∝ 1/δ² ; puissance 80 %, α 5 %."]
T --> R5["5. Pièges : peeking, comparaisons multiples ; décision fixée à l'avance."]
Description du schéma : la mission au centre, reliée aux cinq idées à retenir.
🏅 Récompenses
Total possible : 100 XP · 🏅 Badge Testeur d'idées
← Mission 02 — Discovery et problèmes utilisateurs · Mission 04 — MVP et périmètre →
HEF-150 — Ingénierie produit

