Une fois que le projet est lancé, qu’on est en plein dans l’action, on veut
évidemment aussi évaluer le progrès.
À la fois, évaluer le progrès en termes techniques, mais aussi, surtout, le
progrès au niveau de nos objectifs.
Sommes-nous en train d’atteindre nos objectifs?
Nous dirigeons-nous dans le bon sens?
Dans mon milieu à moi, c’est un avantage, je pense, nous avons
accès à des métriques pratiquement en temps réel autant qu’on en veut.
Le monde de l’Internet, de l’informatique, nous donne autant de mesures
que l’on peut en imaginer.
Ça, c’est très utile de pouvoir établir telle ou telle métrique qui, à notre avis,
reflète notre objectif.
On peut ensuite suivre en temps réel l’évolution.
Est-ce que le chiffre monte? Est-ce que le chiffre baisse?
Ça, dans un premier ordre, ça nous donne une idée de notre succès.
Mais, il faut faire attention.
Parce que dès qu’on crée une métrique, on a tendance à optimiser uniquement pour le
chiffre et de perdre de vue ce qu’il signifie réellement.
Souvent, les métriques ne disent pas tout.
Une métrique est en général un intermédiaire, mais ne
donne pas ou donne très rarement la vérité profonde sur notre objectif.
Un exemple, en protection de l’utilisateur, en sécurité,
nous pouvons par exemple dire : « On va avoir comme métrique le nombre d’attaques
bloquées. » Plus le chiffre monte, en théorie, plus on a du succès.
Plus notre intervention réussit à protéger l’utilisateur.
On voit monter le chiffre.
À un moment donné, par exemple, on va avoir tellement affecté l’écosystème des
attaques, de cette attaque-là en particulier, que
l’attaquant ou les attaquants vont peut-être laisser tomber,
passer à autre chose.
Nous, on va voir notre chiffre tout à coup chuter.
Si l’on ne prend pas de recul, si l’on ne se pose pas la question de savoir ce qui
se passe exactement, on peut penser que tout à coup, nos
systèmes ne sont plus efficaces.
On peut essayer de redoubler d’efforts, alors que notre objectif est peut-être
atteint et qu’on doit soit changer de métrique, soit changer
d’objectif complètement.