Correlação e regressão não resolvem o problema do PM porque o problema do PM quase nunca é estatístico. É de pergunta. Tutoriais sobre como rodar essas análises existem e estão tecnicamente corretos. O método funciona. A maioria dos times pula o passo que vem antes: formular o que está procurando. Sem isso, qualquer análise vira justificativa de decisão já tomada.
Três níveis que o PM mistura
Vale separar três coisas que aparecem empilhadas em qualquer conversa sobre dados.
A correlação comportamental de coorte é o report padrão das ferramentas de analytics de produto. Você pega uma ação do usuário numa janela pós-cadastro e mede quanto ela coincide com retenção ou conversão numa janela posterior. O score é descritivo. Não é regressão linear clássica, não promete previsão.
A regressão linear de duas variáveis é outra coisa. Você tem duas séries numéricas e quer estimar quanto Y muda em função de X. R², resíduos, outliers, faixa de input válida, tudo entra em jogo.
O experimento controlado é A/B test. É a única ferramenta dessa lista que toca em causalidade. As outras duas leem o passado. Confundir os três é o que cria os anti-padrões.
Correlação apresentada como causalidade no slide
Correlação não implica causalidade. A regra é conhecida. O tratamento no slide age como se ela não existisse.
Na prática: um score alto entre uma ação e retenção vira "essa ação causa retenção" no slide. Mas o score só diz que, nos dados históricos, quem fez a ação tendeu a ficar. Não diz que fazer um usuário novo executar a ação vai fazer ele ficar. A direção causal pode estar invertida, pode existir uma terceira variável, pode ser puro acaso amostral em coortes pequenas. As próprias ferramentas avisam isso na documentação. O PM raramente repete o aviso para a liderança.
Correlação comportamental serve para filtrar candidatos. Localizar onde olhar a seguir. Quando ela é apresentada como conclusão, o que está acontecendo é justificativa, não entendimento. E justificar e entender são comportamentos epistemicamente opostos: um parte de uma conclusão e procura evidência que a sustente, o outro parte de uma pergunta aberta.