Modelos

Previsões para a copa: afinal, como se saíram os modelos?

Publicado por

2


Depois do 7 x 1 da Alemanha contra o Brasil, houve algum rebuliço na mídia. Nate Silver se explicou: não é que a derrota do Brasil fosse algo imprevisível, afinal, estimou-se em 35% as chances de a Alemanha vencer a partida. Mais de uma em cada três vezes. Entretanto, o placar de 7 a 1 foi, de fato, estimado como muito improvável segundo o modelo – apenas 0.025%. Mas será que isso por si só é suficiente para rejeitarmos seus resultados? Não necessariamente. Lembre que modelos são falsos. Você não quer saber se eles representam fielmente a realidade, mas sim se são úteis. A dificuldade está em, justamente, saber onde esses modelos podem ser úteis, e onde podem ser enganosos.

Modelar resultados raros e extremos é muito complicado.  Isso ilustra um ponto importante: não se exponha negativamente a Black Swans, pois a dificuldade (ou impossibilidade) de identificar tais eventos pode te expor a riscos muito maiores do que o que você imagina.  Nassim Taleb é alguém que bate há algum tempo nesta tecla.

Todavia, o interessante neste caso é que os modelos para a copa, por preverem vitória ou derrota, não estavam negativamente expostos a eventos extremos deste tipo (o diferencial de gols). Suponha que a probabilidade estimada para o resultado de 7 a 1 para a alemanha fosse de 0.25% ao invés de 0.025%, ou seja, 10 vezes maior. Isso em quase nada alteraria a probabilidade de um time ou outro vencer. Em outras palavras,  se você estiver apostando no resultado binário (vitória ou derrota), você não está exposto a um Black Swan deste tipo (poderia estar exposto a outros tipos, mas isso não vem ao caso agora).

Para ilustrar, comparemos uma distribuição normal (cauda bem comportada) com uma distribuição t de student com 2 graus de liberdade (cauda pesada). No gráfico abaixo temos a Normal em vermelho e a t de student em azul.  Note que a probabilidade de X ser maior do que zero é praticamente 50% nas duas distribuições. Entretanto, a probabilidade de X ser maior do que 3.3 é mais de 80 vezes maior na distribuição t do que na Normal. Na verdade, a simulação da t resulta em pontos bastante extremos, como -100 ou 50 (resultados “impossíveis” numa normal(0,1)), e por isso o eixo X ficou tão grande. Isto é, para prever o resultado binário X>0 ou X<0, não há muita diferença nos dois modelos, a despeito de haver enormes diferenças em eventos mais extremos.

Normal x T

 

Dito isto, não é de se surpreender que, apesar de Nate Silver ter colocado o Brasil como favorito – e ter errado de maneira acachapante o resultado contra a Alemanha – ainda assim suas previsões (atualizadas) terminaram a copa com o menor erro quadrático médio. Ou, também, com o menor erro logarítmico. Essas são medidas próprias de escore para previsões probabilísticas.

O gráfico final do erro quadrático ficou da seguinte forma. Não coloco o logarítmico por ser praticamente igual:

modelos_final

E segue também o gráfico final comparando as probabilidade observadas com as previstas:

calibracao_final

 

 

Aprenda a fazer previsão de eleições com o NYT.

Publicado por

0


Depois que o Nate Silver saiu do NYT, o jornal montou um novo time de previsão para eleições. O novo modelo, denominado LEO, está no ar e com uma descrição bem amigável de seu funcionamento.  A parte gráfica dos resultados também está bacana, inclusive com uma seção comparando o modelo do NYT com seus concorrentes (vale lembrar que o site conta com a ajuda do Michael Bostock, um dos caras que desenvolveu o fantástico D3 para JavaScript)

Mas, tem algo ainda melhor. O NYT liberou os dados e os códigos do modelo no github. E o modelo é em R. Ou seja, agora, para replicar e adaptar o modelo à realidade brasileira só faltam duas coisas: tempo e vontade.

Você é obeso… mas não é gordo 2! Ou, mais sobre p-valores.

Publicado por

7


Já falamos que os p-valores não podem ser interpretados como uma medida absoluta de evidência, como comumente costumam ser. Entre algumas interpretações recorrentes, por exemplo, vale mencionar alguns cuidados:

  • se para um certo conjunto de dados, uma hipótese A (e uma estatística calculada sob A) gera um p-valor de 1% e outra hipótese B (e uma estatística calculada sob B) gera um p-valor de 10%, isto não necessariamente quer dizer que os dados trazem mais evidência contra A do que contra B. Até porque rejeitar A pode implicar, logicamente, na rejeição de B.
  • se para um certo conjunto de dados, uma hipótese A (e uma estatística calculada sob A) gera um p-valor menor que 5%, isto não necessariamente é evidência contra A.
  • se um estudo sobre a hipótese A resulta em p-valor menor do que 5% e outro estudo gera um p-valor maior do que 5%, isto não necessariamente quer dizer que os estudos apresentam resultados contraditórios.

Dentre outras questões.

Mas o que essas coisas querem realmente dizer? Muitas vezes é difícil entender o conceito sem exemplos (e gráficos) e é isso que pretendemos trazer hoje aqui. Vamos tratar do primeiro ponto listado, uma questão que, muitas vezes, pode confundir o usuário do p-valor: o p-valor pode apresentar evidências de que alguém seja obeso e, ao mesmo tempo, evidências de que este alguém não seja gordo, caso você, por descuido, tome o p-valor como uma medida absoluta de evidência e leve suas hipóteses nulas ao pé da letra. O exemplo abaixo foi retirado do artigo do Alexandre Patriota (versão publicada aqui).

Considere duas amostras aleatórias, com 100 observações cada, de distribuição normal com médias desconhecidas e variância igual 1.  Suponha que as médias amostrais calculadas nas duas amostras tenham sido x1=0.14 e x2=-0.16 e que você queira testar a hipótese nula de que ambas as médias populacionais sejam iguais a zero.

A estatística para esta hipótese é n*(x1^2+x2^2), e o valor obtido na amostra é  100*(0.14^2+(-0.16)^2)=4.52. A distribuição desta estatística, sob a hipótese nula, é uma qui-quadrado com 2 graus de liberdade, o que te dá um p-valor de 10%. Assim, se você segue o padrão da literatura aplicada, como o p-valor é maior do que 5%, você dirá que aceita (ou que não rejeita) a hipótese nula de que as médias sejam iguais a zero.

Agora suponha que outro pesquisador teste, com os mesmos dados, a hipótese de que as médias populacionas sejam iguais a si. Para esta hipótese, a estatística seria (n/2)*(x1 – x2)^2, e o valor obtido na amostra é  (100/2)*(0.14+0.16)^2= 4.5. A distribuição desta estatística sob a hipótese nula é uma qui-quadrado com 1 grau de liberdade, o que te dá um p-valor de 3%.  Caso o pesquisador siga o padrão da literatura aplicada, como o p-valor é menor do que 5% (o tão esperado *), ele dirá que rejeita a hipótese de que as médias sejam iguais.

Mas, espere um momento. Ao concluir que as médias não são iguais, logicamente  também se deve concluir que ambas não sejam iguais a zero! Com os mesmos dados, se forem testadas hipóteses diferentes, e se os resultados forem interpretados conforme faz a maior parte da literatura aplicada (que é uma interpretação bastante frágil), você chegará a conclusões aparentemente contraditórias!

Como o p-valor traz “mais evidência” contra a hipótese  de que as médias seja iguais do que contra a hipótese de que ambas sejam iguais a zero, tendo em vista que se rejeitarmos a primeira, logicamente temos que rejeitar a segunda? O que está acontecendo?

Para entender melhor, lembremos o que é o p-valor. O p-valor calcula a probabilidade de a estatística de teste ser tão grande, ou maior, do que a estatística de teste observada. Intuitivamente, o p-valor tenta responder a seguinte pergunta:  se eu adotasse esta discrepância observada como evidência suficiente para rejeitar a hipótese nula, quantas vezes este teste me levaria a erroneamente rejeitar esta hipótese quando ela é de fato verdadeira. Isto é, o p-valor leva em consideração em seu cálculo todos aqueles resultados amostrais que gerariam estatísticas tão extremas quanto a observada, que poderiam ter ocorrido mas não ocorreram.

Repare como calculamos a estatística 1 e note o termo (x1^2+x2^2). Percebe-se que a estatística se torna mais extrema cada vez que o ponto (x1, x2) se distancia de (0,0) – em qualquer direção. Isto é, ela cresce com relação à distância euclidiana de (x1,x2) em relação ao ponto (0,0). Talvez isso seja mais fácil de entender com imagens. No gráfico abaixo, quanto mais escura a cor, maior é o valor da estatística de teste.

dist_eucl_cont

Já na estatística 2, perceba que o termo principal é (x1 – x2)^2, e o que se mede é a distância do ponto em relação à curva x1=x2. Isto é, a distância absoluta de x1 em relação a x2. Vejamos as curvas de nível. Note que ao longo da curva há diversas regiões em branco, mesmo quando distantes do ponto (0,0), pois o que a estatística mede é a distância entre os pontos x1 e x2 entre si.

dist_abs_cont

Agora deve ficar mais fácil de entender o que está acontecendo. O p-valor calcula a probabilidade de encontrar uma estatística tão grande ou maior do que a observada. Ao calcular (x1 – x2)^2, todos os pontos que são distantes de (0,0), mas são próximos entre si, não geram estatísticas extremas. Como uma imagem vale mais do que mil palavras, façamos mais uma. No gráfico abaixo,  os pontos pretos são todos aqueles cuja estatística de teste supera a estatística observada (0.14, -0.16). Já os pontos azuis e vermelhos são todos os pontos que tem uma estatística de teste maior do que a observada, medidos pela distância euclidiana em relação à reta x1=x2.

contraste-p-valorNote que vários pontos pretos que se encontram “longe” de (0,0) não são nem vermelhos nem azuis, pois estão “pertos” da reta x1=x2. Fica claro, portanto, porque o p-valor da segunda estatística é menor. Isso ocorre porque resultados extremos que discordariam bastante de (0,0) – como (0.2, 0.2) ou (0.3, 0.3) – não são considerados em seu cálculo. Note que é possível obter um p-valor ainda menor (1,6%) testanto a hipóse de que média 1 seja menor ou igual à média 2. E se a média 1 não é menor ou igual a média 2, isso implica que elas não são iguais a si, e que também não são ambas iguais a zero. É importante ter claro também que todas as estatísticas são derivadas pelo mesmo método – razão de verossimilhanças – e possuem propriedades ótimas, não são estatísticas geradas ad-hoc para provocar um resultado contra-intutivo.

Para não alongar muito este post, frise-se que o que deve ser tirado como lição principal é que o p-valor não é uma medida absoluta de suporte à hipótese que está sendo testada. Mas como interpretar melhor os resultados acima? Caso você queira continuar no âmbito frequentista, algumas medidas seriam, por exemplo, não considerar literalmente as hipóteses nulas (isto é, não rejeitar ou aceitar uma hipótese precisa como x1=x2 ou x1=x2=0), avaliar que discrepâncias em relação à hipótese nula são ou não relevantes (do ponto de vista científico, e não estatístico) e conferir a função poder e intervalos de confiança para algumas alternativas de interesse.  Trataremos disso mais a frente (caso vocês ainda não tenham enjoado do assunto!).

Voltando ao caso da Target: previsão de gravidez

Publicado por

2


Lembra da história da Target prevendo quando uma cliente terá um bebê? Veja aqui vídeo de Andrew Pole, da Target, falando sobre o uso de dados para melhorar o marketing da empresa. Entre os exemplos, ele cita o famoso caso de prever a gravidez (para ir diretamente à parte dos exemplos clique, em cima do video, em “Data to Drive Performance Examples”).

Ainda o Nobel: sobre a Matemática

Publicado por

4


Aproveitando o prêmio Nobel, o EconLog trouxe uma passagem do artigo de Galey e Shapley, sobre a matemática, que vale ser citada integralmente:

Finally, we call attention to one additional aspect of the preceding analysis which may be of interest to teachers of mathematics. This is the fact that our result provides a handy counterexample to some of the stereotypes which non-mathematicians believe mathematics to be concerned with.

Most mathematicians at one time or another have probably found themselves in the position of trying to refute the notion that they are people with “a head for figures.” or that they “know a lot of formulas.” At such times it may be convenient to have an illustration at hand to show that mathematics need not be concerned with figures, either numerical or geometrical. For this purpose we recommend the statement and proof of our Theorem 1. The argument is carried out not in mathematical symbols but in ordinary English; there are no obscure or technical terms. Knowledge of calculus is not presupposed. In fact, one hardly needs to know how to count. Yet any mathematician will immediately recognize the argument as mathematical, while people without mathematical training will probably find difficulty in following the argument, though not because of unfamiliarity with the subject matter.

What, then, to raise the old question once more, is mathematics? The answer, it appears, is that any argument which is carried out with sufficient precision is mathematical, and the reason that your friends and ours cannot understand mathematics is not because they have no head for figures, but because they are unable [or unwilling, DRH] to achieve the degree of concentration required to follow a moderately involved sequence of inferences. This observation will hardly be news to those engaged in the teaching of mathematics, but it may not be so readily accepted by people outside of the profession. For them the foregoing may serve as a useful illustration.

O Noah Smith também aproveita o tema para desenvolver um pouco sobre a matemática e a economia.

Bandido bom é bandido morto? Ou mais ainda sobre modelos.

Publicado por

0


Evidentemente que o debate acerca de penas capitais envolve muitos fatores, entre eles morais, religiosos e ideológicos. Entretanto, impossível negar que, para este debate, um argumento bastante persuasivo é saber se, de fato, a adoção da pena de morte reduz a criminalidade. E, mais ainda, se reduz, de quanto seria esta redução.

No fundo, isto é uma questão empírica. Pois, teoricamente, o efeito pode ser tanto positivo quanto negativo, tanto alto quanto baixo. Se a adoção de penas capitais, por um lado, inibe o criminoso por aumentar a severidade da pena, por outro lado, aqueles criminosos que forem cometer um crime de qualquer jeito terão mais incentivos para a brutalidade – afinal, se ele já irá pegar a pena máxima, então por que não matar todas as testemunhas?

Então basta estimar o efeito de penas capitais e o problema está resolvido, certo? Durlauf, Fu e Navarro (2012) mostram que não. Apesar de isto ser um problema empírico, é preciso determinar qual o modelo utilizado para as estimativas. Tomando o caso dos EUA,  que tal um modelo linear com um único coeficiente de probabilidade de execução para cada estado? Se acharmos isto adequado, ele nos fornecerá uma estimativa positiva, indicando que cada execução poupa de 20 a 31,5 vidas, em média. Números bastante persuasivos.

Mas se, ainda no modelo linear, permitirmos que o coeficiente varie por estado? Bom, aí passamos para estimativas de que uma execução adicional eleva o número de vítimas de 35,2 a 98,5 , em média.  Também tem outro ponto: o modelo linear agrega comportamentos individuais de uma maneira bastante restritiva. E se utilizássemos um modelo Logit?  Novamente a estimativa passa a ser negativa, indicando que cada execução eleva o número de vítimas de 2 a 42. A figura que ilustra os dados a que faço referência encontra-se abaixo.

Diante de tais resultados, alguém poderia se tornar bastante cético quanto à nossa capacidade de medir o efeito. Eu sugiro uma interpretação mais otimista. Os autores identificaram pelo menos duas grandes fontes de incerteza e, agora, será preciso dispensar muito mais atenção na escolha e na justificativa da forma funcional do modelo. Porque muito melhor do que a proliferação assistemática de resultados frágeis e conflitantes – que muitas vezes tornam-se disputas pessoais  – é, pelo menos, saber por que eles divergem.

Mais sobre modelos – Jerzy Neyman

Publicado por

0


Mais sobre modelos.

Já havíamos colocado aqui Thaddeus Tarpey discutindo que todos os modelos estão certos, e a maioria é inútil.

Também Ed. Leamer tratando do problema de quem interpreta modelos literalmente, como realidade.

Segue agora uma definição de modelo muito engraçada e simples, por Jerzy Neyman:

Um modelo é um conjunto de suposições inventadas sobre entidades inventadas tais que, se alguém trata essas entidades inventadas como representações de elementos adequados dos fenômenos estudados, as consequências das hipóteses que constituem o modelo deverão estar de acordo com as observações. Se, em todos os ensaios relevantes, o grau de conformidade nos parece satisfatório, então se considera o modelo adequado.

A fórmula que matou Wall Street

Publicado por

0


Artigo interessante sobre a gaussian copula function de David Li.

Vale frisar duas partes do final. Primeiro, sobre os gerentes que utilizavam a fórmula:

Their managers, who made the actual calls, lacked the math skills to understand what the models were doing or how they worked. They could, however, understand something as simple as a single correlation number. That was the problem.

E, segundo, Li sobre o seu próprio modelo:

The most dangerous part is when people believe everything coming out of it.

Por ser voltado ao público geral, não sei até que ponto o texto é anedótico. Mas, ilustra bem uma verdade: não é para você pegar um modelo e aplicá-lo a toda e qualquer situação. Ainda mais quando se trata de normalidade e constantes no mundo financeiro.

PS: um leitor recomendou o vídeo “Quants – Os alquimistas de Wall Street”, visto no blog do PC.

Qual é o problema com modelos? Nenhum, o problema é com quem os interpreta…

Publicado por

7


… como realidade e não como metáforas.

Como diz Edward Leamer: “It is difficult to train a computer to understand a metaphor, and it is likewise difficult to train our students to understand the metaphors of economics, our models. Our students do what anyone unfamiliar with a language does: they take the models literally.” Mas não deviam.

Então, se algum economista te mostrar um modelo de concorrência perfeita, não é para você pensar que os economistas acreditam, nem tampouco para você acreditar que os preços são dados, que para existir concorrência teria de haver milhares de empresas sem poder de mercado, que não existe atividade empresarial fundamentada no erro e na descoberta… interpretar um modelo de concorrência perfeita dessa forma, usando uma analogia de Leamer, é a mesma coisa de olhar um mapa em que a avenida é desenhada na cor vermelha e achar que a avenida é de fato vermelha. Corolário disto: não é para você pegar um modelo e aplicá-lo a toda e qualquer situação – o trabalho do economista é justamente identificar o momento apropriado de utilizá-lo.