Demos um exemplo de confusão entre significância estatística e significância prática em um teste de normalidade: a rejeição (ou não-rejeição) da hipótese nula, arbitrariamente, sem levar em conta as magnitudes dos desvios, sua importância, o tamanho amostral, entre outros fatores, é análoga à situação ilustrada por este cartoon do XKCD:

Mas voltemos ao Nate Silver, que traz um exemplo simples e bastante ilustrativo da diferença entre significância estatística e significância econômica: um “teste” para a hipótese dos mercados eficientes.

Suponha que, nos dez anos após a publicação do Eugene Fama, você tenha coletado os dados diários do Down Jones Industrial Average. Suponha, também, que você tenha percebido que uma alta tenha sido, na maior parte das vezes, precedida por outra alta e uma perda, por outra perda. Deste modo, você suspeita que dados históricos poderiam ser usados para prever rentabilidade futura. Você resolve testar sua hipótese e um teste estatístico padrão te diz que haveria apenas 1 chance em 7.000.000.000.000.000 de um resultado tão ou mais extremo como o observado ter sido fruto da sorte.

A hipótese nula é (estatisticamente) rejeitada. A hipótese de mercados eficientes, inclusive em sua forma fraca, foi refutada!

Não tão rápido… se você incluir os custos de transação para tentar lucrar em cima do padrão encontrado, você descobre que um investidor que aplicasse $10.000 e seguisse a estratégia sugerida terminaria, ao final dos dez anos, com apenas $1.100!

Perceba como o exemplo acima é mais uma das formas de se confundir significância estatística com significância econômica. Como todo modelo ou teoria, a hipótese dos mercados eficientes não é uma reprodução fiel da realidade. Assim, se você queria saber se a hipótese vale exatamente e literalmente, nem era preciso se dar ao trabalho de testá-la: a resposta é, não, não vale. Mas isso não responde nem se e nem quando e nem como e nem por que a hipótese é (ou não) uma boa aproximação da realidade, isto é, sua “significância econômica”. No caso acima, mesmo aceitando que houvesse alguma previsibilidade real* no mercado, esta se mostrou economicamente insignificante. Neste exemplo, hipotético, a teoria não foi, economicamente, refutada.

* na maioria das vezes pode ser apenas uma correlação espúria. Nos anos 2000, por exemplo, o padrão citado se inverteu.