Durée conseillée : 90 minutes. Réussite à 60 %. Les ressources du cours sont autorisées ; l'IA peut aider à comprendre, mais tu dois savoir expliquer chaque réponse.
Partie 1 — Questions (40 points)
1. Un modèle de langage génère principalement :
- A. la suite de texte la plus probable selon ses données
- B. des faits vérifiés dans une base
- C. du code toujours correct
2. Pour limiter l'hallucination dans un assistant de support, on :
- A. augmente la température
- B. raccourcit la question
- C. fournit des sources, exige des citations et accepte de refuser
3. Dans un appel d'outil, c'est :
- A. le modèle qui exécute directement l'outil
- B. l'hôte qui valide et exécute la demande émise par le modèle
- C. l'utilisateur qui valide chaque jeton
4. Pour empêcher un agent de « réussir » en modifiant les tests, on :
- A. met les fichiers de mesure en lecture seule et vérifie de façon indépendante
- B. lui demande poliment de ne pas le faire
- C. augmente la température
5. Pour comparer deux systèmes d'IA, on évalue de préférence :
- A. chacun sur des cas différents
- B. un seul exemple chacun
- C. les deux sur les mêmes cas, en regardant la différence et son intervalle
6. Le code généré par une IA doit être vérifié par :
- A. les tests écrits par la même IA uniquement
- B. des contrôles indépendants de la génération (propriétés, différentiel, analyse statique)
- C. la seule lecture rapide
7. La défense la plus solide contre l'exfiltration par un agent est de :
- A. casser au moins un côté de la triade données privées / contenu non fiable / canal externe
- B. écrire un prompt plus long
- C. augmenter la température
8. Une contribution assistée par IA peut être intégrée seulement si :
- A. l'IA affirme qu'elle est correcte
- B. elle est rapide à produire
- C. elle a passé des vérifications indépendantes et une revue humaine, avec traçabilité
✅ Réponses de la partie 1
- A
- C
- B
- A
- C
- B
- A
- C
Partie 2 — Problème pratique (40 points)
On te confie la création d'un « assistant de revue » pour le dépôt de HashBox : il lit le code, propose des correctifs et peut ouvrir des tickets.
- Définis son périmètre : tâches permises/interdites, données autorisées par classification, outils avec schémas et rôles ; remplis la triade et casse un côté.
- Construis un petit récupérateur documentaire avec citations et refus ; mesure rappel@k sur 15 questions simulées.
- Écris le harnais de l'agent : budget d'étapes et de jetons, stagnation, tests en lecture seule, approbation des écritures, instantané et retour arrière ; teste-le avec trois politiques (sensée, bruitée, tricheuse).
- Évalue deux variantes de prompt sur 60 cas séparés en développement/test : intervalles, comparaison appariée, règle de décision écrite avant.
- Écris un vérificateur pour cinq correctifs candidats (dont une dépendance inventée, un effet de bord et un cas limite oublié) : analyse statique, exécution isolée, propriétés, différentiel.
- Teste l'assistant contre 20 attaques (et 100 mutations) ; applique masquage, souillure et assainissement ; donne le taux de réussite avant/après.
- Assemble le workflow à portes de qualité, génère les fiches de provenance, calcule le gain net avec les défauts échappés et conclus par un dossier de validation : démontré, non démontré, risques résiduels, plan de surveillance.
Partie 3 — Justification (20 points)
Explique en 10 lignes maximum : la décision de ton assistant que tu as le moins voulu automatiser (et pourquoi), la porte de qualité que tu ne sauterais jamais, et ce qui te ferait retirer un pouvoir à l'assistant.
Barème
| Partie | Points |
|---|---|
| 1 — Questions | 40 |
| 2 — Problème pratique | 40 |
| 3 — Justification | 20 |
HEF-160 — IA et augmentation humaine

