Devant une page web, le comportement de l’utilisateur est influencé par de nombreuses variables : le web design, la qualité du texte, les images, la vitesse de chargement… Autant de pistes d’amélioration et de recherche qui permettent de fabriquer de bons et beaux sites web.
Au sens strict, le principe du test a/b est simple comme bonjour : vous prenez une version A, vous prenez une version B et vous les comparez. Sur le papier, la différence entre la version A et la version ne doit porter que sur une seule variable pour faciliter la comparaison. Si vous goûtez un plat A et un plat B et que la seule différence entre les deux est la présence de coriandre, le cuisinier pourra savoir exactement pourquoi vous préférez une version à l’autre.
Mais le test a/b se veut un processus itératif, on ne s’arrête donc pas à cette première comparaison et on va ensuite comparer le plat à la coriandre, avec son homologue au basilic, au persil, à l’estragon… On garde de chaque duel la version préférée en éliminant sans pitié l’herbe fraîche qui n’a pas séduit les papilles de l'échantillon de testeurs !
Test a/b et campagne présidentielle
Pendant la campagne présidentielle de Barack Obama, l’équipe de Kyle Rush, derrière le site de don du futur président, a fait évolué ce dernier en utilisant le test a/b et en comparant les taux de conversion en live. Grâce à de nombreux tests, ils ont modifié au fil de l'eau les étapes nécessaires à un don mais aussi les textes, les photos…
À cette époque, le nombre d’Américains qui se connectent pour faire un don est si important que l’équipe obtient les résultats de ses tests très rapidement. C'est notamment le cas avec le choix d’une image illustrant la page destinée à faire gagner aux internautes un dîner avec Barack et Michelle Obama : avec une photo qui montrait le dîner comme un moment privilégie et détendu avec le célèbre couple, le taux de conversion a augmenté de 19% par rapport à la page référante.
L’équipe de développeurs qui travaillait d’arrache pied pour faire en sorte qu’il y ait en permanence un test a/b en cours a été doublement récompensée de ses efforts : d’abord par la hausse notable des taux de conversions (dons et enregistrement) mais également par les enseignements tirés de cette expérience que Kyle Rush résume comme une « mine d’or de bonnes pratiques ». Le test a/b est donc une autre façon de tirer partie de la fréquentation d'un site, pourvu qu'elle soit importante.
Une méthode simple à expliquer, simple à comprendre
L’analyse des tests a/b donne des résultats très variables indiquant parfois la direction à suivre d’une manière très simple : 97% des testeurs ont rejeté la version de votre plat à la coriandre ? Vous ne devriez pas avoir l’envie de le tester de nouveau dans les temps à venir. Mais le plus souvent ces résultats servent de base pour le test suivant et on envoie le champion dès le départ se battre à mort contre ses outsiders. Autant dire que la coriandre n’avait aucune chance face à votre champion en titre, la ciboulette !
Évidemment pour la réussite du test vous ne pouvez pas proposer votre plat à la ciboulette à 19h30 à certains testeurs quand d’autres dégusteront celui à la coriandre au saut du lit. En latin, on dit ceteris paribus, ce qui veut dire que les tests a/b sont réalisés "Toutes choses égales par ailleurs".
Toutes les variables peuvent être testées ainsi : faites comparer votre salade dans une assiette verte et dans une assiette violette, dégustée avec les mains ou avec une fourchette. Accompagnée de vin ou d'eau. Dressée joliment ou comme une salade folle.
Ce test a/b aurait-il vraiment tout pour plaire ? Cette méthode a, comme toutes les autres, ses limites. Pour chaque test, la taille de l’échantillon de testeurs n’est pas négligeable afin d'éloigner le plus possible le facteur « chance » des résultats. Pour pallier ce problème, vous pouvez envisager de réduire le nombre de tests ou de prolonger l’expérimentation.
On reproche ainsi au test a/b d’être réducteur et mal adapté aux sites moyennement fréquentés. Mais comme toute pratique, le test a/b doit intervenir pour un objectif précis, donc intégrer une stratégie globale. Attention à la testomanie !