Test A/B

Un test A/B consiste à montrer deux versions d'une même page à deux groupes de visiteurs, au même moment. La moitié voit la version A et l'autre moitié la version B, et comme rien d'autre ne change, tout écart entre les deux groupes vient de cette seule modification. On compte ensuite quel groupe a fait ce que l'on attendait, acheter, réserver ou envoyer le formulaire.

L'idée est plus ancienne que le web. Un magasin a toujours pu essayer une vitrine pendant quinze jours, puis une autre, et comparer les recettes. En ligne, on n'attend pas cette seconde quinzaine, car les deux versions tournent ensemble, ce qui veut dire que la météo comme la saison les touchent de la même façon.

Ce que l'on rate le plus souvent, c'est le nombre de visiteurs. Une page qui reçoit deux cents visites par mois ne peut rien dire d'un nouveau bouton, parce que les petits écarts n'apparaissent qu'avec beaucoup de trafic. En règle générale, comptez quelques milliers de visites par version, et au moins deux cents ventes ou inscriptions, avant de croire le résultat. Les deux premiers jours, une version semblera loin devant, mais cet écart n'est presque toujours que du bruit et il s'efface. C'est pour cela qu'arrêter le test dès que les chiffres plaisent reste l'erreur la plus fréquente.

Changez une seule chose à la fois. Si vous modifiez le titre, la photo et le bouton dans le même test et que la version B gagne, vous ignorez toujours lequel des trois a fait la différence. Changez donc un élément, gardez le gagnant, puis lancez le test suivant, un chemin plus lent sur le papier et bien plus rapide en vrai. Laissez aussi chaque test tourner sur des semaines entières, car un visiteur du mardi et un visiteur du samedi se ressemblent rarement.

Un test répond à la question de ce qui s'est passé, jamais à celle du pourquoi, et il faut donc encore regarder de vraies personnes utiliser la page. Quand Linkysoft refait un site internet, nous testons d'abord le bon de commande, car c'est là que l'argent se perd. Dans une application web, la même méthode sert tout aussi bien sur un écran d'inscription ou un filtre de recherche. Linkysoft prévient aussi ses clients d'un coût discret, parce que chaque semaine passée à tester est une semaine où l'on ne répare pas ce que l'on sait déjà cassé.