Quando saiu a “descoberta” do Bóson de Higgs, praticamente todos os jornais divulgaram a notícia confundindo o p-valor da pesquisa como a probabilidade a posteriori de se cometer um erro. Esta confusão é muito mais comum do que se imagina, inclusive entre os próprios professores e livros de estatística (vide, por exemplo, Haller e Kraus, 2002 ou Gigerenzer, 2000).
A esse respeito, neste último final de semana, vi uma apresentação de uma aula de métodos quantitativos de um ótimo curso de pós-graduação em que se afirmava que o p-valor indicaria, “informalmente”, a probabilidade de a hipótese nula ser verdadeira. Isso não é verdade, nem informalmente – essas duas probabilidades podem até coincidir, mas apenas em circunstâncias específicas, pois ambas podem ser arbitrariamente distantes, a depender dos pressupostos a priori (vide DeGroot, 1973 ou Casella e Berger, 1987 para casos em que coincidem. Vide Berger e Selke 1987, para casos gerais em que não).
Vale a pena, portanto, recolocar aqui o link para um breve video sobre o p-valor. Provavelmente voltarei a este assunto em breve (p<5% ?).
HALLER, H.; KRAUSS, S. Misinterpretations of significance: A problem students share with their teachers? Methods of Psychological Research Online. v.7(1), p. 1–20. 2002.
GIGERENZER, G. Adaptive Thinking—Rationality in the Real World. Oxford Univ. Press, New York. 2000.
DEGROOT, M. H. Doing What Comes Naturally: Interpreting a Tail Area as a Posterior Probability or as a Likelihood Ratio. Journal of the American Statistical Association, 68, p. 966-969, 1973.
CASELLA, G.; BERGER, R. L. Testing Precise Hypotheses: Comment. Statistical Science, v.2(3), p. 344-347, 1987b.
BERGER, J. O.; SELLKE, T. Testing a point null hypothesis: The irreconcilability of P values and evidence. Journal of the American Statistical Association, v.82(397), p. 112-122, 1987
Análise Real 
Que tal: “o p-valor é a probabilidade de se obter uma estatística de teste pelo menos tão grande quanto a observada, quando o parâmetro ou intervalo que estamos tantando estimar é o que foi postulado”?
CurtirCurtir
Olá, Bruno, isso seria a definição do p-valor, quando testamos um parametro. Mas, como interpretá-lá em termos de evidência? Você diria que poderíamos afirmar que é “mais ou menos” a mesma coisa de ser a probabilidade de a hipótese postulada ser verdadeira?
CurtirCurtir
Não. Dado que, em teoria, o parâmetro populacional é determinístico, ou a hipótese é verdadeira, ou não é. A probabilidade, portanto, ou é 0 ou 1. Diria, talvez, que seria a probabilidade de cometer um erro do tipo I.
CurtirCurtir
Vejo que em termos de evidência somente aplicando o teorema de Bayes, tomando como a priori os resultados obtidos em estudos anteriores. Isto, contudo, é minha utopia no mundo científico…
CurtirCurtir
Do ponto de vista frequentista, é mais ou menos isso mesmo, Bruno. A rigor, a probabilidade de erro tipo I é determinada a priori, antes do experimento. Entretanto, o p-valor poderia ser interpretado como uma “probabilidade contrafactual” de erro tipo I, que forneceria a probabilidade de erro tipo I do teste aplicado frente aos dados, caso a região crítica tivesse sido determinada com um valor tão grande ou maior do que o observado. Seria algo como uma medida de confiança do teste aplicado àqueles dados, indicando a capacidade ou incapacidade daquele de discriminar algum desvio em relação às hipóteses.
CurtirCurtir
Não sei se ficou claro, mas é Importante frisar que o erro tipo I é definido pela regra de decisão a priori e o p-valor não é a probabilidade de errar, e sim um contra-factual.
Uma vez obtidos os dados, se você quiser saber a probabilidade a posteriori de cometer um erro ao rejeitar a hipótese, aí você você volta ao problema citado do post e tem que inverter a probabilidade condicionando nos dados.
CurtirCurtir
Pingback: P-valor não é probabilidade a posteriori II | Análise Real