Équilibrer la rapidité et la confiance dans l'expérimentation

Running thousands of experiments effectively means carefully balancing our speed with the necessary controls to maintain trust in experimental outputs - but figuring out that balance is never easy. Traditionally, experimentation velocity tradeoffs are focused on minimizing the false positive rate (FPR), which heavily leans towards maintaining the status quo. For example, in Figure 1 we show the Type I (false positive) and Type II (false negative) error rates from typical experiments. In this traditional setup, the experimenter makes an explicit assumption that accidentally shipping a false positive has four times the risk relative to the opportunity cost of not shipping a completely valid treatment. 

Bien que cette façon de penser soit généralement la norme dans l'industrie et dans le monde universitaire, elle pose certains problèmes lorsqu'il s'agit de développer des produits. Plus précisément, elle pose les problèmes suivants :

• Cela signifie qu'il faut faire moins d'expériences avec des exigences de confiance plus élevées. Ces conditions réduisent la vitesse et créent de sérieuses difficultés pour le développement de produits dont les processus reposent sur une boucle de rétroaction très rapide. 
• Elle rend l'expérimentation moins accessible en tant qu'outil pour les entreprises et les équipes qui ne disposent pas d'échantillons de grande taille mais qui ont beaucoup d'idées à tester.
• Elle ignore que les critères conventionnels de prise de décision ne sont que des lignes directrices et que les taux d'erreur doivent être fixés au cas par cas. Par exemple, Jacob Cohen, psychologue et statisticien américain surtout connu pour ses travaux sur la puissance statistique et les tailles d'effet, a déclaré ouvertement que ses lignes directrices pour les seuils étaient "des valeurs choisies [qui] n'avaient pas de base plus fiable que ma propre intuition"(pp. 532, Cohen, 1988), et qu'un chercheur devait créer ses propres lignes directrices lorsque cela se justifiait.

Ce billet met en lumière quelques idées pour mener une expérimentation réussie et comment équilibrer la vélocité avec la confiance dans l'expérimentation :

• Une plus grande vélocité favorise l'impact : Dans cette section, , nous illustrerons pourquoi l'augmentation de la vitesse peut être un facteur important d'impact et pourquoi il est utile de définir les compromis d'expérimentation dans le contexte de la maximisation de la récompense plutôt que dans celui de la minimisation du taux de faux positifs. 
• Accroître la confiance grâce à la normalisation : Dans cette section, nous soulignerons qu'il existe de meilleurs moyens d'accroître la confiance et de réduire l'erreur de type I qui ne reposent pas sur des seuils conservateurs.

Pourquoi la vitesse d'expérimentation est-elle importante ?

Nous pouvons construire un modèle de simulation simple pour comprendre l'impact de la vitesse sur l'expérimentation. Supposons que deux jeunes entreprises soient en concurrence dans un secteur identique. Chacune d'entre elles est dirigée par un PDG dont les points de vue sur l'expérimentation sont quelque peu divergents.

• Le PDG à haut niveau de confiance s'accompagne d'un fort biais de recherche. Cela signifie que toutes les expériences doivent être soigneusement planifiées et que les résultats ne sont valables que s'ils passent le seuil conventionnel de la valeur p de 0,05. Il est à noter que ce PDG est la référence pour la prise de décision par les équipes qui utilisent l'expérimentation dans l'industrie et dans le monde universitaire.
• Le PDG à grande vitesse apprécie la flexibilité et se soucie non seulement de la validité des expériences, mais aussi de la vitesse d'itération et de l'impact sur l'entreprise. Étant donné que toutes les expériences ont des hypothèses directionnelles, un seuil unilatéral de p=0,05 est considéré comme suffisant. En outre, toutes les expériences dont l'effet de traitement avec une erreur standard pointe dans la direction opposée à l'hypothèse sont interrompues prématurément (c'est-à-dire que nous sommes autorisés à jeter un coup d'œil à mi-chemin de notre taille d'échantillon cible et à prendre une décision de continuer/abandonner).

Les deux PDG ne s'intéressent qu'à une seule mesure, à savoir le revenu des commandes par utilisateur, qui s'élève à 30 dollars. Nous supposerons que 20 % des effets réels testés ont un impact négatif, que 60 % n'ont aucun impact et que les 20 % restants ont un impact positif. En outre, nous supposons que toutes les expériences ont des taux d'erreur de type I et de type II prédéfinis de 5 % et 20 % respectivement. Dans un environnement contraint, où ces PDG ont plus d'idées à tester que de bande passante expérimentale, quel PDG est susceptible d'avoir un meilleur rendement de l'expérimentation ?

Dans notre simulation, l'interrogation unique et le seuil alpha unilatéral conduiraient à un taux de faux positifs beaucoup plus élevé que l'autre choix. Si notre objectif est de minimiser le taux de faux positifs, le PDG à grande vitesse n'a pas atteint cet objectif. Néanmoins, comme le montre la figure 2, il est en mesure de réaliser 50 % d'expériences en plus et d'obtenir 1 $ de plus en termes d'impact réel sur les revenus. En faisant un compromis autour des valeurs p et des critères d'arrêt précoce, le PDG à haute vélocité est en mesure d'obtenir une récompense plus élevée, même après avoir pris en compte les conséquences négatives d'un taux de faux positifs plus élevé. Cet exemple de comparaison entre une grande confiance et une grande rapidité montre que le fait de se concentrer sur la récompense maximale permet d'obtenir une récompense plus élevée même après avoir pris en compte les conséquences négatives d'un taux de faux positifs plus élevé. Cet exemple de comparaison entre une grande confiance et une grande vitesse montre que le fait de se concentrer sur des stratégies de maximisation de la récompense dans l'expérimentation peut dominer les critères conventionnels qui minimisent les taux de faux positifs.  

Les avantages du maintien d'une vitesse élevée

La rapidité est l'une des principales raisons pour lesquelles DoorDash se préoccupe tant de la réduction de la variance et de ses avantages. Néanmoins, il est plus utile d'envisager la vélocité dans le contexte du cycle de vie global de l'expérimentation. La vélocité est mesurée à partir du moment où quelqu'un a une idée jusqu'au moment où il est en mesure de prendre une décision sur la base des résultats de l'expérimentation, de sorte que se concentrer sur les multiples initiatives de vélocité décrites dans la figure 3 peut avoir des retombées importantes. Au sein de DoorDash, parmi les équipes qui optimisent leurs flux de travail autour de la vélocité de l'expérimentation, nous avons observé les points forts suivants :

• Meilleure compréhension des indicateurs: Les expériences offrent une excellente occasion de mieux comprendre les moteurs des indicateurs de l'entreprise, de comprendre les effets de médiation, de trouver des variables instrumentales, de faire des compromis et d'effectuer des méta-analyses. Nous avons régulièrement observé que les gens développent de meilleures perspectives de leurs produits et de leurs indicateurs, ainsi qu'une plus grande empathie à l'égard de leurs utilisateurs, parce que les expériences constituent une fonction de forçage pour ce faire. 
• Une plus grande fiabilité: Si vous lancez une expérience une fois, il se peut que la base de code soit occasionnellement remplie de nombres magiques ou de forks non documentés, parce que vous vous dites que "ceci ne sera pas beaucoup utilisé ou modifié". Si l'on vous demande de lancer des dizaines d'expériences, vous êtes explicitement motivé pour mieux mettre en place des fichiers de configuration clairs, automatiser les tâches répétitives et écrire un code plus fonctionnel, découplé et refactorisable. L'expérimentation oblige à prendre de meilleures décisions en matière de codage et d'architecture, car vous réfléchissez toujours à la manière d'introduire de la flexibilité pour lancer de nouveaux changements plus rapidement, faciliter les modifications et réduire l'impact des déploiements néfastes. 
• Une plus grande autonomie: Pour permettre une plus grande vélocité, une entreprise doit faire confiance aux expérimentateurs pour fonctionner dans une culture d'échec et d'apprentissage rapide. Les équipes individuelles sont invitées à se prendre en charge et à se responsabiliser, et il n'y a pas d'organe de supervision général par lequel les décisions sont bloquées. Cette autonomie est une grande source de motivation pour les équipes performantes.

La rapidité n'est pas toujours l'objectif

Les compromis que nous faisons entre la vitesse et la confiance sont dictés par l'industrie et par le coût du déploiement d'un traitement qui pourrait avoir un impact négatif. Les décisions relatives à l'embauche, aux traitements médicamenteux, à l'approbation des crédits ou à la politique sociale requièrent une charge de preuve plus importante. De même, les décisions qui ne sont pas facilement réversibles et qui nécessitent une charge de maintenance accrue devraient également nécessiter davantage de preuves. Néanmoins, de nombreux secteurs et contextes ne bénéficient pas d'un processus de décision qui prescrit des restrictions conventionnelles sur la vélocité, et les expérimentateurs devraient être encouragés à se concentrer sur la maximisation de la récompense plutôt que sur la minimisation du taux de faux positifs.

En outre, le compromis entre la rapidité et la confiance devrait être atténué par l'efficacité avec laquelle les équipes gèrent et utilisent leur capacité expérimentale. Si une équipe mène une seule expérience alors qu'elle pourrait en mener dix, il est avantageux d'être plus prudent car il n'y a pas de coût d'opportunité lié à un retard dans la prise de décision ou à un ralentissement de l'itération des idées.

Pourquoi la confiance dans l'expérimentation est-elle importante ?

Les échecs de réplication sont fréquents dans les milieux de la recherche universitaire, où la probabilité d'être publié dans les meilleures revues est très faible, où les articles font l'objet de multiples révisions et où les niveaux d'examen sont élevés - mais où les incitations à "publier ou périr" sont inévitables. Par exemple, en 2015, Nosek et al. ont publié dans la revue Science une étude exhaustive sur la réplication, soulignant que parmi 100 expériences de psychologie de premier plan, environ 66 % ont échoué dans leurs tentatives de réplication (voir figure 4). Néanmoins, dans un contexte industriel, nous pouvons également être compromis par des incitations, telles que le désir de reconnaissance et de favoriser de bonnes relations avec les parties prenantes qui nous entourent. Ce désir humain peut nous inciter à rechercher des résultats ou à nous engager dans des pratiques qui peuvent diminuer la confiance dans les résultats expérimentaux.

De nombreux facteurs affectent la confiance dans l'expérimentation (voir figure 5). Bien que la convention puisse nous pousser à examiner de près des éléments spécifiques tels que les valeurs p, la racine de nombreux problèmes d'expérimentation est liée au fait de ne pas mettre par écrit des éléments tels que l'hypothèse, la manière de la tester, les mesures, les covariables, la durée de l'expérience, l'unité de randomisation et le modèle statistique que vous utiliserez pour analyser les données avant le lancement de l'expérience. L'enregistrement de ces facteurs a un impact considérable sur la réduction des degrés de liberté des chercheurs, l'obtention d'un retour d'information plus précis de la part des parties prenantes et la réduction du p-hacking. Toute personne peut examiner l'analyse et la comparer à la conception de l'expérience et signaler les incohérences dans la planification.

Dans cette section, nous mettrons l'accent sur deux sujets qui affectent la confiance et qui sont particulièrement difficiles à résoudre à grande échelle :

1. Prévenir l'arbitrage métrique et 
2. Assurer l'invariance métrique.

Comment l'arbitrage métrique élimine les gains d'expérience

L'arbitrage métrique se produit lorsqu'une équipe dispose d'un indicateur principal et d'un indicateur de garde. L'équipe souhaite que l'indicateur principal soit positif et statistiquement significatif et que l'indicateur de garde reste stable ou ne se détériore pas. L'arbitrage métrique affecte particulièrement les grandes organisations où les équipes opèrent dans un contexte décentralisé. Au fur et à mesure que les entreprises se développent, l'entropie augmente. Afin de rester productives et de garantir une meilleure concentration, les équipes qui détiennent une grande partie du produit sont subdivisées en équipes distinctes qui ont parfois des priorités concurrentes. Par exemple, nous pourrions avoir les sous-équipes suivantes :   

• L'équipe Growth a pour objectif d'augmenter le nombre d'utilisateurs sous une certaine contrainte d'efficacité représentée par $cost/user. L'équipe est prête à dépenser au maximum 10 dollars pour acquérir un nouveau consommateur. Si elle acquiert un consommateur en dessous de ce seuil de 10 $, elle s'en sort très bien.
• L'équipe chargée de la fixation des prix se concentre sur la rentabilité et est responsable de la fixation du prix du produit. Elle est prête à économiser au moins 10 dollars, quitte à perdre un consommateur.

Les deux équipes opèrent à partir des mêmes compromis, ce qui est en soi très rare. Néanmoins, même si les équipes opèrent à partir de compromis fondamentalement identiques, elles peuvent entreprendre de nombreuses actions pour rendre la mesure principale plus susceptible d'être statistiquement significative alors que la mesure du garde-fou est considérée comme non significative sur le plan statistique. Par exemple : 

• Team Growth might ship a promotion that will bring more users with a p < 0.01, but will ignore the potential increase in costs to $15/user because p-value is 0.2.  
• Team Pricing pourrait augmenter les prix, ce qui rapporterait un dollar supplémentaire par utilisateur, mais ignorerait le risque potentiel d'une diminution de la croissance du nombre d'utilisateurs parce que la valeur p est de 0,3.

Bien que les résultats décrits ci-dessus puissent sembler incongrus, étant donné que la variance d'une mesure entre les équipes ne devrait pas changer, ces types de résultats peuvent être facilement obtenus simplement en décidant d'appliquer la réduction de la variance de manière sélective uniquement sur la mesure principale et non sur la mesure de garde (voir la figure 6). Lorsque nous appliquons la réduction de la variance, nous réduisons l'erreur standard autour de la mesure primaire tout en maintenant l'erreur standard de la mesure garde-fou.

As companies become larger, having a shared understanding of metrics and tradeoffs becomes paramount. Even if you have top-notch experimentation tooling, research methods, tracking, and telemetry, if teams are allowed to operate without metrics consistency and alignment, arbitrage can completely eliminate the benefits of running experiments since teams cancel out each other's improvements. Although there are statistical approaches that focus on equivalence testing that specifically deal with testing for the absence of evidence, the core problems are driven by a lack of standardization and researcher degrees of freedom. Within the Experimentation platform, we attempt to reduce metric arbitrage by having a good integration with our internal Metrics platform. To reduce arbitrage, we specifically focused on the following:

• Définitions normalisées des indicateurs. La première solution consiste à s'assurer que les équipes utilisent un ensemble de définitions de mesures communes. Il est très facile, au cours d'une expérience, de réinventer les définitions ou de les adapter légèrement à une sous-équipe spécifique. Bien que les expérimentateurs doivent être autorisés à définir de nouvelles mesures ou à redéfinir les mesures, puisque ce processus encourage l'exploration de nouvelles idées, les parties prenantes doivent être en mesure de voir clairement que les nouvelles définitions de mesures sont incompatibles avec les mesures normalisées utilisées dans l'ensemble de l'entreprise. 
• Toujours sur les garde-fous. La deuxième solution consiste à s'assurer que lorsqu'un utilisateur interne lance une expérience, il n'est pas autorisé à se soustraire au suivi d'un ensemble de mesures de garde-fous auxquelles la majorité des parties prenantes de l'entreprise s'intéressent. 
• Aperçu des métriques. Cette troisième solution consiste à montrer aux équipes comment les compromis sont faits au sein de la plateforme en rendant compte des expériences historiques. Par exemple, nous pouvons permettre aux parties prenantes de filtrer sur un indicateur spécifique et de voir toutes les expériences historiques qui ont été lancées et qui ont affecté cet indicateur. Elles pourraient alors se pencher sur les expériences où l'indicateur était négatif et demander aux différentes sous-équipes ce qui les a amenées à prendre une décision de lancement qui a eu un impact négatif sur l'indicateur. En augmentant cette transparence, les équipes internes peuvent avoir un débat plus ouvert sur les compromis.

L'intégration avec une plateforme de métrologie permet aux équipes de communiquer de manière plus efficace et plus transparente sur la manière dont elles font des compromis ou sur les cas de surface lorsque les équipes sont en concurrence les unes avec les autres sur un ensemble de priorités. Nous espérons présenter le travail sur la plateforme Metrics dans un prochain billet de blog.

Comment l'absence d'invariance métrique affecte la généralisabilité

We commonly assume that water boils at a temperature of 100 °C (212 °F). Yet if you run multiple experiments under different conditions, you'll find that this assumption does not generalize. Instead, atmospheric pressure often affects the boiling temperature of water, with increased elevation seeing a lower boiling point. This is why at the top of mount Everest, water boils at 70° Celsius, and pressure cookers are becoming a staple appliance in kitchens due to how efficiently they can speed up the cooking process. The inconsistent relationship between temperature and boiling point for water is an example of a metric lacking invariance. In one experiment you might be able to establish a relationship between X and Y, but that relationship changes based on many mediator variables present in the environment. If your environment changes, you have to adjust the assumptions you made.

Nous constatons un manque d'invariance métrique dans une grande partie de nos expériences.

• Un carrousel de cuisine saisonnier est très efficace pour augmenter le taux de commande, mais il faut que le carrousel corresponde à la saison concernée et qu'il soit régulièrement mis à jour. Proposer aux utilisateurs un carrousel d'offres de glaces pendant les mois d'hiver parce qu'une expérience menée pendant les mois d'été a montré un taux de conversion plus élevé serait probablement un échec.  
• We might assume that if we improve how quickly a page loads, we will see increased revenue. Nonetheless, time is a reality perceived by the user and there are perceptual and cognitive limits below which users are likely not sensitive to changes in page load times. Therefore, you might find that a 0.2s improvement doesn't translate to any meaningful impact when your latency is already perceived to be fast.
• Nous pourrions construire un levier plus efficace pour gérer l'offre et la demande, mais la présence d'une offre saine signifie que ce levier est rarement déployé, ce qui entraîne une stagnation des indicateurs. Dans un environnement où l'offre est insuffisante, ce levier pourrait avoir un impact considérable.
• Nous pourrions constater qu'une nouvelle interface utilisateur augmente l'engagement, mais que l'impact à long terme reste inchangé en raison des effets de nouveauté.

La meilleure solution à ce problème est de considérer les expériences comme une opportunité d'apprentissage, quel que soit le résultat d'une expérience spécifique. Cet examen minutieux et cette exploration présentent plusieurs avantages. 

• Elles nous permettent d'augmenter le taux de réussite des lancements d'expériences. Si une équipe obtient un taux de réussite de 20 % lors du lancement d'une première expérience, ce chiffre peut souvent doubler après un nouveau lancement, car la première expérience nous indique comment ajuster le traitement dans les expériences de suivi.
• All experiments provide meaningful lessons and serve as a rich source of potential projects. The magic of experimentation is that every time you complete one experiment, you're often left with enough ideas to follow up with two or three other treatments.
• Enfin, les suivis peuvent nous permettre de comprendre dans quelles conditions notre traitement se généralisera. Par exemple, lorsque nous créons des leviers pour remédier au déséquilibre entre l'offre et la demande, nous pourrions obtenir des résultats globaux plats si nous disposons de suffisamment d'éléments pour suggérer que l'effet du traitement augmente en fonction de l'insuffisance de l'offre sur le marché.

Dans l'ensemble, pour tout expérimentateur, il vaut la peine d'investir du temps pour se familiariser avec certains outils d'inférence causale qui vont au-delà de la simple estimation ATE (voir Imai, King et Stuart, 2008).

Conclusions

Un paradigme d'expérimentation réussi exige que l'on opère avec une grande confiance et une grande rapidité. Malheureusement, ces deux éléments sont souvent en concurrence. Nous recommandons généralement de se concentrer sur les points suivants pour aider à équilibrer ces deux éléments.

• Si vous avez une longue réserve d'idées et une grande capacité d'exécution, mais que les expériences prennent plus de temps, concentrez-vous sur les éléments qui améliorent la vitesse : réduction de la variance, seuils alpha plus élevés, tests séquentiels, normalisation et automatisation, et processus d'examen rapide des expériences. Cela peut parfois conduire à un taux de faux positifs plus élevé, mais tant que l'équipe fait plus de paris expérimentaux, elle est susceptible de maximiser l'impact de l'expérimentation. 
• Si vous constatez un manque de cohérence des mesures, des échecs de réplication ou une tendance à rationaliser les résultats d'une expérience, concentrez-vous sur la normalisation en demandant aux expérimentateurs de préenregistrer leurs propositions, de suivre attentivement les mesures et d'être très explicites sur la manière dont ils prennent leurs décisions avant le lancement de l'expérience. La meilleure façon d'atténuer l'erreur de type I est d'adopter de meilleures pratiques de recherche plutôt que de compenser par des seuils plus conservateurs.

Si vous êtes passionné par la création d'applications de ML qui ont un impact positif sur la vie de millions de commerçants, de Dashers et de clients, envisagez de rejoindre notre équipe.

Remerciements

Nous remercions Jared Bauman et Kurt Smith pour leurs commentaires sur cet article, ainsi que l'ensemble de l'équipe "Expérimentation" pour ses discussions intéressantes sur la manière de maximiser l'impact de l'expérimentation.