Quão útil é mostrar a incerteza em um gráfico comparando proporções?

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

[ad_1]

[This article was first published on ouR data generation, and kindly contributed to R-bloggers]. (Você pode relatar problemas sobre o conteúdo desta página aqui)


Quer compartilhar seu conteúdo em R-bloggers? clique aqui se você tiver um blog, ou aqui se não tiver.

Recentemente, criei um enredo simples para um artigo que descreve um estudo piloto de uma intervenção que visa a depressão. Este pequeno estudo foi amplamente realizado para avaliar a viabilidade e aceitabilidade da implementação de uma intervenção existente em uma nova população. O desfecho primário coletado foi a proporção de pacientes em cada braço do estudo que permaneceram deprimidos após a intervenção. O gráfico dos resultados do estudo que incluímos no artigo era mais ou menos assim:

A motivação para mostrar os dados neste formulário foi simplesmente fornecer uma noção geral dos padrões de resultado que observamos, embora eu argumentasse (e eu argumentei) que não se deve tentar usar um pequeno piloto para tirar conclusões fortes sobre um efeito do tratamento, ou talvez quaisquer conclusões. Os dados são simplesmente muito barulhentos. No entanto, parece útil mostrar dados que sugerir uma intervenção poderia mover as coisas na direção certa (ou pelo menos não na direção errada). Eu teria ficado bem em mostrar este gráfico junto com uma descrição dos resultados de viabilidade e planos para um futuro ensaio maior que é projetado para realmente medir o efeito do tratamento e nos permitir tirar conclusões mais fortes.

Claro, alguns periódicos têm prioridades diferentes e podem querer fazer declarações mais fortes sobre as pesquisas que publicam. Talvez com isso em mente, um revisor sugeriu que incluíssemos intervalos de confiança de 95% em torno das estimativas pontuais para fornecer uma imagem mais completa. Nesse caso, a figura seria algo assim:

Leia Também  Continuando como chefe de soluções e IA na Draper and Dash

Quando compartilhei essa trama com meus colaboradores, gerou um pouco de confusão. Eles fizeram um teste comparando duas proporções no período 2 e encontraram uma diferença “significativa” entre os dois braços. O valor de p foi de 0,04, e o intervalo de confiança de 95% para a diferença nas proporções foi [0.03, 0.57], que exclui 0:

prop.test(x = c(21, 12), n=c(30, 30), correct = TRUE)
## 
##  2-sample test for equality of proportions with continuity correction
## 
## data:  c(21, 12) out of c(30, 30)
## X-squared = 4, df = 1, p-value = 0.04
## alternative hypothesis: two.sided
## 95 percent confidence interval:
##  0.027 0.573
## sample estimates:
## prop 1 prop 2 
##    0.7    0.4

Faz sentido que os ICs de 95% para as proporções individuais se sobreponham enquanto, ao mesmo tempo, parece haver uma diferença real entre os dois grupos (pelo menos desta forma grosseira, sem fazer ajustes para testes múltiplos ou considerar a possibilidade de que pode haver diferenças nos dois grupos)? Bem – na verdade não há nenhuma razão real para pensar que isso seja um paradoxo. Os dois tipos diferentes de intervalos de confiança medem quantidades muito diferentes – um conjunto analisa as proporções individuais e o outro analisa o diferença em proporções.

Achei que uma maneira simples de mostrar esse não-paradoxo seria gerar todos os possíveis intervalos de confiança e valores-p para um caso em que temos 30 pacientes por braço e criamos um gráfico para mostrar como os intervalos de confiança individuais sobrepostos para as proporções se relacionam com os valores-p com base em uma comparação dessas proporções.

Eu criei um conjunto de dados que é uma grade de eventos, onde estou interessado apenas nos casos em que o número de “eventos” (por exemplo, indivíduos com depressão) no braço de intervenção é menor que o número no braço de controle.

Leia Também  Outra simulação "achatar a curva COVID-19" ... em R
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br
N 

For each pair of possible outcomes, I am estimating the confidence interval for each proportion. If the upper limit of intervention arm 95% CI is greater than the lower limit of the control arm 95% CI, the two arms overlap. (Look back at the confidence interval plot to make sure this makes sense.)

ci = L_e0, labels = c("no overlap", "overlap"))]

Na próxima e última etapa, estou obtendo o valor p para uma comparação das proporções em cada par. Qualquer valor de p inferior ao corte de 5% é considerado significativo.

cidif 

The plot shows each pair color coded as to whether there is overlap and the difference is statistically significant.

library(paletteer)

ggplot(data=dd, aes(x = e0, y = e1)) +
  geom_point(aes(color = interaction(overlap, sig)), size = 3, shape =15) +
  theme(panel.grid = element_blank(),
        legend.title = element_blank()) +
  scale_color_paletteer_d(
    palette = "wesanderson::Moonrise2",
    breaks=c("overlap.not significant", "overlap.significant", "no overlap.significant")
  ) +
  scale_x_continuous(limits=c(5, 25), name = "number of events in control arm") +
  scale_y_continuous(limits=c(5, 25), name = "number of events in treatment arm")

Os pontos azuis no centro representam resultados que são relativamente próximos; há sobreposição nos ICs de 95% individuais e os resultados são não significativo. Os pontos de ferrugem no canto inferior direito representam resultados em que as diferenças são muito grandes; não há sobreposição e os resultados está significativo. (Sempre será o caso em que se não houver sobreposição nos ICs de 95% individuais, as diferenças serão significativas, pelo menos antes de fazer ajustes para multiplicidade, etc.) A região dos pontos de ouro é onde reside a ambigüidade, resultados onde lá é sobreposição entre os ICs de 95% individuais, mas as diferenças são de fato estatisticamente significativas.

O gráfico a seguir se concentra em uma única linha do gráfico de grade acima. Fixando o número de eventos no braço de tratamento para 10, a transição de (a) sobreposição substancial e não significância para (b) menos sobreposição e significância para (c) separação e significância completas é tornada explícita.

d10 

Where does this leave us? I think including the 95% CIs for the individual proportions is not really all that helpful, because there is that area of ambiguity. (Not to mention the fact that I think we should be de-emphasizing the p-values while reporting the results of a pilot.)

In this case, I am fine with the original plot, but, it is possible to provide an alternative measure of uncertainty by including error bars defined by the sample standard deviation. While doing this is typically more interesting in the context of continuous outcomes, it does give a sense of the sampling variability, which in the case of proportions is largely driven by the sample size. If you do decide to go this route, make sure to label the plot clearly to indicate what the error bars represent (so readers don’t think they are something they are not, such as 95% CIs).



[ad_2]

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br