Folha de dicas sobre inferência causal para cientistas de dados

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


[Esteartigofoipublicadopelaprimeiravezem[Thisarticlewasfirstpublishedon R [english] – NC233, e gentilmente contribuiu para os R-blogueiros]. (Você pode relatar um problema sobre o conteúdo desta página aqui)


Deseja compartilhar seu conteúdo com R-blogueiros? clique aqui se você tiver um blog ou aqui se não tiver.

Ser capaz de fazer reivindicações causais é um valor comercial essencial para qualquer equipe de ciência de dados, independentemente do tamanho.
A análise rápida (em outras palavras, estatísticas descritivas) é a base de qualquer bom analista de dados que trabalha em ciclos rápidos com sua equipe de produtos para entender seus usuários. Às vezes, porém, surgem algumas perguntas importantes que precisam de respostas mais precisas. Às vezes, o valor comercial significa distinguir o que são verdadeiras idéias do que é ruído incidental. Informações que se manterão em comparação com material de marketing temporário. Em outros termos causalidade.

Ao responder a essas perguntas, é necessário rigor absoluto. Não entender os mecanismos-chave pode significar perder descobertas importantes, lançar a versão errada de um produto e, eventualmente, custar milhões de dólares à sua empresa ou oportunidades cruciais.
Ron Kohavi, ex-diretor da equipe de experimentação da Microsoft, tem um exemplo famoso: mudar o local em que as ofertas de cartão de crédito foram exibidas no amazon.com gerou milhões em receita para a empresa.

A indústria de tecnologia adotou essa tendência nos últimos 6 anos, fazendo da Causal Inference um tópico importante na ciência de dados. Netflix, Microsoft e Google, todos têm equipes construídas em torno de algumas variações de métodos causais. A análise causal também está (finalmente!) Ganhando muita força em campos puros de IA. Ter uma idéia do que os métodos de inferência causal podem fazer por você e pelos seus negócios está se tornando cada vez mais importante.

Os níveis de inferência causal da escada de evidências

Daí a folha de dicas da escada de inferência causal! Além do valor para os próprios cientistas de dados, também tive sucesso no passado, mostrando este slide para clientes internos para explicar como estávamos processando os dados e tirando conclusões.

A classificação “escada” explica a nível de prova cada método lhe dará. Quanto mais alto, mais fácil será garantir que os resultados de seus métodos sejam verdadeiros e reproduzíveis – a desvantagem é que a configuração da experiência será mais complexa. Por exemplo, a configuração de um teste A / B normalmente requer uma estrutura dedicada e recursos de engenharia.
Os métodos mais abaixo na escada exigirão menos esforço na configuração (pense em dados observacionais), mas mais esforço no rigor da análise. Garantir que sua análise tenha descobertas verdadeiras e não apenas comentar algum ruído (ou pior, é totalmente errado) é um processo chamado verificações de robustez. É sem dúvida a parte mais importante de qualquer método de análise causal. Quanto mais baixo for o seu método, mais verificações de robustez serão necessárias se for seu revisor “

Leia Também  How I Taught Scientific Blogging with R Markdown, Online

Também quero enfatizar que os métodos nos degraus inferiores não são menos valiosos – é quase o contrário! São métodos brilhantes que permitem o uso de dados observacionais para tirar conclusões, e eu não ficaria surpreso se pessoas como Susan Athey e Guido Imbens, que fizeram contribuições significativas a esses métodos nos últimos 10 anos, receberam o prêmio Nobel de um nos dias de hoje!

causal_cheat_sheet
Os níveis de inferência causal da escada de evidências – clique na imagem para aumentá-la

Degrau 1 – Experimentos científicos

No primeiro degrau da escada, estão as experiências científicas típicas. O tipo que você provavelmente aprendeu no ensino médio ou até no ensino fundamental. Para explicar como um experimento científico deveria ser conduzido, meu professor de biologia nos mandou colher sementes de uma caixa, dividi-las em dois grupos e plantá-las em dois vasos. O professor insistiu que tornássemos as condições nos dois frascos completamente idênticas: mesmo número de sementes, mesmo umedecimento do solo, etc.
O objetivo era medir o efeito da luz no crescimento das plantas, então colocamos um de nossos frascos perto de uma janela e trancamos o outro em um armário. Duas semanas depois, todos os nossos frascos perto da janela tinham botões pequenos e agradáveis, enquanto os que deixamos no armário mal cresceram.
A exposição à luz é a única diferença entre os dois frascos, explicou o professor, estávamos permitido concluir essa privação de luz fez com que as plantas não crescessem.

Parece bastante simples? Bem, isso é basicamente o mais rigoroso que você pode ser quando deseja atribuir causa. A má notícia é que essa metodologia só se aplica quando você tem um certo nível de controle em ambos os Grupo de tratamento (aquele que recebe luz) e seu grupo de controle (aquele no armário). Controle suficiente, pelo menos, de que todas as condições sejam estritamente idênticas mas o único parâmetro que você está experimentando (neste caso, leve). Obviamente, isso não se aplica às ciências sociais nem à ciência de dados.

Então, por que incluí-lo neste artigo, você pode perguntar? Bem, basicamente porque isso é o método de referência. Todos os métodos de inferência causal são, de certa forma, hacks projetados para reproduzir essa metodologia simples em condições em que você não poderá tirar conclusões se seguir estritamente as regras explicadas pelo professor do ensino médio.

Degrau 2 – Experimentos Estatísticos (aka testes A / B)

Provavelmente, o método de inferência causal mais conhecido em tecnologia: testes A / B, também conhecido como ensaios clínicos randomizados para nossos amigos em bioestatística. A idéia por trás dos experimentos estatísticos é confiar na aleatoriedade e no tamanho da amostra para reduzir a incapacidade de colocar seus grupos de tratamento e controle exatamente nas mesmas condições. Teoremas estatísticos fundamentais, como a lei dos grandes números, o teorema do limite central ou a inferência bayesiana, garantem que isso funcionará e uma maneira de deduzir estimativas e sua precisão a partir dos dados coletados.

Leia Também  Fast.ai in R: Como criar um modelo de visão computacional em um ambiente R

Indiscutivelmente, uma plataforma Experiments deve ser um dos primeiros projetos em que qualquer equipe de Data Science deve investir (uma vez que todos os níveis fundamentais estejam estabelecidos, é claro). O impacto da criação de uma cultura de experimentos em empresas de tecnologia foi muito bem documentado e ganhou empresas como Google, Amazon, Microsoft etc. bilhões de dólares.

Obviamente, apesar de serem bastante confiáveis ​​no papel, os testes A / B vêm com seus próprios conjuntos de advertências. Este white paper de Ron Kohavi e outros membros fundadores da Experiments Platform da Microsoft é muito útil.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Degrau 3 – Quase-Experimentos

Por mais impressionantes que sejam os testes A / B (ou RCTs), em algumas situações eles simplesmente não podem ser realizados. Isso pode acontecer devido à falta de ferramentas (um caso comum em tecnologia é quando uma estrutura específica não possui as ferramentas adequadas para configurar um experimento super rapidamente e o teste se torna contraproducente), preocupações éticas ou simplesmente porque você deseja estudar alguns dados ex post. Felizmente para você, se você estiver em uma dessas situações, existem alguns métodos para ainda obter estimativas causais de um fator. No degrau 3, falamos sobre o fascinante mundo da quase-experimentos (também chamado experimentos naturais)

Um quase-experimento é a situação em que seu grupo de tratamento e controle é dividido por um processo natural que não é verdadeiramente aleatória, mas pode ser considerada próxima o suficiente para calcular estimativas. Na prática, isso significa que você terá métodos diferentes que corresponderão a diferentes suposições sobre o quão “próximo” você está da situação do teste A / B. Entre exemplos famosos de experiências naturais: usar a loteria da Guerra do Vietnã para estimar o impacto de ser um veterano em seus ganhos ou a fronteira entre Nova Jersey e Pensilvânia para estudar o efeito dos salários mínimos na economia.

Agora, deixe-me dar um aviso justo: quando você começar a procurar quase experimentos, poderá rapidamente ficar obcecado por ele e começar a pensar em uma coleta inteligente de dados em lugares improváveis ​​… Agora, você não pode dizer que não foi avisado 😜

Eu tenho mais do que alguns amigos que estavam atraído para atraído por uma carreira em econometria pelo puro amor a experimentos naturais.

Os métodos mais populares no mundo dos quase-experimentos são: diferenças-em-diferenças (o mais comum, de acordo com Scott Cunnigham, autor do Causal Inference Mixtape), Projeto de descontinuidade de regressão, Coincidindoou Variáveis ​​instrumentais (que é uma construção absolutamente brilhante, mas raramente útil na prática). Se você conseguir observar (ou seja, coletar dados) sobre todos os fatores que explicam como o tratamento e o controle são separados, uma regressão linear simples, incluindo todos os fatores, fornecerá bons resultados.

Degrau 4 – O mundo dos contrafactuais

Por fim, às vezes você desejará tentar detectar fatores causais a partir de dados puramente observacionais. Um exemplo clássico em tecnologia é estimar o efeito de um novo recurso quando nenhum teste A / B foi realizado e você não tem nenhum tipo de grupo que não esteja recebendo o recurso que você poderia usar como controle:

Leia Também  5 etapas para alterar a ramificação padrão do GitHub de mestre para principal
Ligeiramente adaptado da documentação de CausalImpact

Talvez você esteja pensando: espere … você está dizendo que podemos simplesmente olhar para os dados antes e depois e poder tirar conclusões? Bem, o truque é que muitas vezes não é aquele simples fazer uma análise rigorosa ou até mesmo calcular uma estimativa. A idéia aqui é criar um modelo que permita calcular uma contrafactual grupo de controle. Contrafactual significa “o que teria acontecido se esse recurso não existisse”. Se você tem um modelo do seu número de usuários em quem você tem confiança suficiente para fazer algumas previsões robustas, basicamente você tem tudo

Há uma pegadinha embora. Ao usar métodos contrafactuais, o qualidade da sua previsão é a chave. Sem se aprofundar nos detalhes técnicos, isso significa que seu modelo não só precisa ser preciso o suficiente, mas também precisa “entender” quais fatores subjacentes estão influenciando o que você observa atualmente. Se um fator de confusão independente do lançamento mais recente variar (clima econômico, por exemplo), você não deseja atribuir essa alteração ao seu recurso. Seu modelo precisa entender isso também se você quiser fazer reivindicações causais.

É por isso que as verificações de robustez são tão importantes ao usar contrafactuais. Algumas bibliotecas legais de Inferência Causal, como a doWhy da Microsoft, faz essas verificações automaticamente para você 😲

Métodos de sensibilidade como o implementado no pacote R tipr também podem ser muito úteis para verificar algumas suposições. Finalmente, como eu poderia escrever um artigo completo sobre inferência causal sem mencionar os DAGs? Eles são uma ferramenta amplamente usada para declarar suas suposições, especialmente no caso dos métodos da linha 4.

(Nota lateral rápida: agora, com a crise sem precedentes do Covid-19, é provável que a maioria dos modelos de previsão usados ​​em várias aplicações esteja muito distante. Obviamente, esses não podem ser usados ​​para análises causais contrafactuais)

Tecnicamente falando, os métodos da linha 4 se parecem muito com os métodos da linha 3, com alguns pequenos ajustes. Por exemplo, diff-in-diff sintético é uma combinação de diff-in-diff e correspondência. Para dados de séries temporais, o CausalImpact é um pacote R muito interessante e conhecido. causalTree é outra abordagem interessante que vale a pena examinar. De maneira mais geral, modelos cuidadosamente criados com experiência em domínio e rigorosamente testados são as melhores ferramentas para fazer inferência causal apenas com grupos de controle contrafactuais.

Espero que esta folha de dicas o ajude a encontrar o método certo para suas análises causais e seja impactante para os seus negócios! Informe-nos sobre seus melhores #causalwins em nosso Twitter, ou nos comentários!



Se você chegou até aqui, por que não inscreva-se para atualizações do site? Escolha o seu sabor: o email, Twitter, RSS ou facebook …



cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br