Emir Sader, com todo seu conhecimento estatístico, se pronuncia novamente:
É chato se repetir, mas aqui é caso de utilidade pública.
Para ver o ato anterior, clique aqui.
Semelhantes: Statistics – Fox Style , Statistics – Gobo News Style e Statistics – Venezuela Style.
Novamente, vale frisar que o Ibope não precisa estar certo para o Emir estar errado.
Dica do Guilherme Duarte via Radamés Marques!
Blog novo na lista de blogs: o Dados Aleatórios.
O blog tem foco em programação e estatística. Em destaque, as boas dicas de R.
Vale a pena conferir!
Ontem, me indicaram um site que está se aventurando nesta empreitada: Polling Data. O autor está utilizando dois modelos diferentes, um baseado na agregação das pesquisas eleitorais, e outro com base em variáveis estruturais (como o PIB). O interessante é que os modelos estão apresentando resultados diferentes agora depois da última pesquisa. Os resultados são confiáveis? Não saberia dizer, senti falta de uma avaliação do modelo proposto com previsões fora da amostra. Acompanhemos!
Conhece mais alguém que está modelando as eleições? Compartilhe!
PS: para quem usa R, dei uma olhada nos gráficos e código fonte e é provável que o autor esteja usando shiny e ggvis!
Aparentemente Emir Sader não estudou amostragem estatística.
Note que a DataFolha não precisa estar certa para o Emir estar errado. Pois se, por acaso, a pesquisa não reflete satisfatoriamente a população, certamente não será por causa do tamanho amostral (2884 pessoas)!
Semelhantes: Statistics – Fox Style , Statistics – Gobo News Style e Statistics – Venezuela Style.
Dica do Guilherme Duarte via Radamés Marques.
Ok, peço perdão aos leitores que não são tão interessados assim em R. Mas as séries de entrevistas do Eduardo estão muito legais; então, provavelmente, veremos mais alguns desses posts por aqui. Desta vez, o entrevistado é David Smith do Revolution Analytics , empresa que tem uma versão do R direcionada para necessidades corporativas – o Revolution R Enterprise.
David fala um pouco sobre a recente transição do R do mundo acadêmico para o mundo empresarial, sobre a comunidade do R, sobre reproducibilidade entre outros tópicos. É uma entrevista curta, de menos de 15 minutos, vale a pena assistir.
Outra dica legal é o canal do youtube do próprio Revolution Analytics, com diversos webinars voltados para análise de dados.
O datascience.la liberou mais uma entrevista do useR! 2014: dessa vez com Max Kuhn, autor do pacote de modelos preditivos caret e do livro Applied Predictive Modeling.
Max Kuhn também deu um tutorial na conferência: e o material deste e de outros tutoriais você pode conferir aqui. Outros vídeos do datascience.la, como a palestra do John Chambers e a entrevista com Hadley Wickham, você pode conferir aqui.
Estava devendo alguns comentários sobre o excelente useR! 2014, mas, devido à correria logo após o retorno, ainda não tinha conseguido sentar para escrever. Aqui seguem alguns comentários sobre os tutoriais, que mereceram um post separado. Um outro post sobre o encontro virá futuramente.
O primeiro dia foi composto de tutoriais de 3 horas, um pela manhã e outro à tarde. Pela manhã, assisti ao tutorial do Max Kuhn, sobre modelos de previsão no R, baseado no seu excelente livro Applied Predictive Modeling e no seu pacote para o R, caret (Classification and Regression Training). Max trabalha na Pfizer, então tem bastante experiência com modelos preditivos voltados para o mercado – em outras palavras, modelos que têm de funcionar. Isso é excelente, pois há um foco grande em como lidar com as técnicas na prática e como gerenciar seu fluxo de trabalho na análise de dados, uma lacuna presente em muitos livros de estatística e machine learning. Os slides e códigos do tutorial podem ser encontrados aqui.
Entretanto, o custo de assistir ao tutorial do Max foi o de perder os outros, igualmente interessantes, que ocorreram simultaneamente. Em particular, alguns que não pude ver mas depois consultei o material foram: (i) Matt Dowle sobre o pacote data.table (para manipulação de dados). Se você ainda não conhece o data.table, está perdendo precioso tempo de vida. Eu literalmente acabei de juntar mais de 2 milhões de observações de imóveis com a função rbindlist instantaneamente, enquanto que com a função base do R demorava minutos. E (ii) Romain Francois sobre a integração do R com C++11 e seu pacote Rcpp11. Um interface simples para interagir com C++ e C++11 parece estar sendo a resposta para desenvolvimento de pacotes de alta performance no R. Meu interesse nesta assunto tem crescido particularmente pelo fato de simulações Bayesianas poderem ser computacionalmente muito intensas, então você acaba eventualmente tendo que se preocupar com performance. Não é muito legal esperar dias para um modelo rodar e, só depois, você descobrir um bug para ter que rodar tudo de novo.
Pela tarde assisti ao tutorial do Hadley Wickham sobre manipulação de dados com o dplyr. O dplyr é um pacote que tem o lado do bom dos dois mundos: uma sintaxe simples e amigável para dummies – ainda mais com o uso do pipe operator %>% do magrittr – juntamente com excelente performance (Romain e C++!). Como eu já havia adotado o dplyr desde seu lançamento, assisti ao tutorial mais para prestigiar o Hadley do que para aprender. Valeu a pena, a apresentação foi muito bacana!
E, para variar, infelizmente não pude ir a dois tutorias que me chamaram a atenção em particular: (i) o do Ramnath, sobre documentos interativos com R, discutindo o rCharts, slidify, bem como soluções server side que têm surgido como Shiny e OpenCPU. E (ii) a apresentação do Dirk Eddelbuettel sobre o Rcpp.
Além dos tutoriais que mencionei, foram abordados temas como visualição dinâmica, modelos de rede bayesiana, análise de dados espaciais entre diversos outros. Então, se você ainda não tinha tido contato com estes assuntos/pacotes e quer se aprofundar, eis aí uma boa oportunidade. Há bastante material para consulta e praticamente todos estão disponíveis no site!
Depois do 7 x 1 da Alemanha contra o Brasil, houve algum rebuliço na mídia. Nate Silver se explicou: não é que a derrota do Brasil fosse algo imprevisível, afinal, estimou-se em 35% as chances de a Alemanha vencer a partida. Mais de uma em cada três vezes. Entretanto, o placar de 7 a 1 foi, de fato, estimado como muito improvável segundo o modelo – apenas 0.025%. Mas será que isso por si só é suficiente para rejeitarmos seus resultados? Não necessariamente. Lembre que modelos são falsos. Você não quer saber se eles representam fielmente a realidade, mas sim se são úteis. A dificuldade está em, justamente, saber onde esses modelos podem ser úteis, e onde podem ser enganosos.
Modelar resultados raros e extremos é muito complicado. Isso ilustra um ponto importante: não se exponha negativamente a Black Swans, pois a dificuldade (ou impossibilidade) de identificar tais eventos pode te expor a riscos muito maiores do que o que você imagina. Nassim Taleb é alguém que bate há algum tempo nesta tecla.
Todavia, o interessante neste caso é que os modelos para a copa, por preverem vitória ou derrota, não estavam negativamente expostos a eventos extremos deste tipo (o diferencial de gols). Suponha que a probabilidade estimada para o resultado de 7 a 1 para a alemanha fosse de 0.25% ao invés de 0.025%, ou seja, 10 vezes maior. Isso em quase nada alteraria a probabilidade de um time ou outro vencer. Em outras palavras, se você estiver apostando no resultado binário (vitória ou derrota), você não está exposto a um Black Swan deste tipo (poderia estar exposto a outros tipos, mas isso não vem ao caso agora).
Para ilustrar, comparemos uma distribuição normal (cauda bem comportada) com uma distribuição t de student com 2 graus de liberdade (cauda pesada). No gráfico abaixo temos a Normal em vermelho e a t de student em azul. Note que a probabilidade de X ser maior do que zero é praticamente 50% nas duas distribuições. Entretanto, a probabilidade de X ser maior do que 3.3 é mais de 80 vezes maior na distribuição t do que na Normal. Na verdade, a simulação da t resulta em pontos bastante extremos, como -100 ou 50 (resultados “impossíveis” numa normal(0,1)), e por isso o eixo X ficou tão grande. Isto é, para prever o resultado binário X>0 ou X<0, não há muita diferença nos dois modelos, a despeito de haver enormes diferenças em eventos mais extremos.
Dito isto, não é de se surpreender que, apesar de Nate Silver ter colocado o Brasil como favorito – e ter errado de maneira acachapante o resultado contra a Alemanha – ainda assim suas previsões (atualizadas) terminaram a copa com o menor erro quadrático médio. Ou, também, com o menor erro logarítmico. Essas são medidas próprias de escore para previsões probabilísticas.
O gráfico final do erro quadrático ficou da seguinte forma. Não coloco o logarítmico por ser praticamente igual:
E segue também o gráfico final comparando as probabilidade observadas com as previstas:
Para quem tem interesse em discussões sobre estatística e causalidade, vale a pena ler estes dois posts (aqui e aqui) do Andrew Gelman, principalmente as discussões ocorridas nos comentários, com participação provocativa do Judea Pearl. Se você ainda não teve contato com o assunto, dê uma olhada no exemplo deste post antes para ficar com a pulga atrás da orelha e começar a entender por que causalidade não é um conceito estatístico.
Segundo os mercados de apostas, não! No Betfair, o jogo Brasil e Alemanha está praticamente um cara-e-coroa, com 50.9% para a Alemanha e 49.1% para o Brasil. Ps: lembre que o Betfair é dinâmico, então essas probabilidades alteram ao longo do tempo.
Entretanto, segundo Nate Silver, sim! Talvez por conta do viés de se jogar em casa, o modelo do FiveThirtyEight dá ao Brasil 73% de chances de ganhar da Alemanha e 54% de ganhar a copa! Update: Nate Silver recalculou as probabilidades do Brasil sem o Neymar e reduziu as chances de ganharmos da Alemanha para algo entre 68% a 65%.
Emoções à parte, quem você acha que está certo?
Veja aqui o histórico de erro dessas previsões.
***
Também havia prometido comparar a calibração dos modelos, isto é, comparar as probabilidades previstas contra as freqüências observadas. Podemos fazer isso de diversas formas, mas achei um gráfico bacana no Cross Validated que é bem fácil de implementar e resolvi copiar para começarmos a brincadeira.
Segue, abaixo, gráfico com as probabilidades previstas (eixo X) contra as freqüências observadas (eixo Y) da primeira fase da copa do mundo para cada um dos modelos. Os círculos cinzas representam os dados observados (1 ou 0) e os círculos principais tem tamanho e cores proporcionais à quantidade de observações em sua categoria.
Mais para frente veremos outras formas de comparar esses resultados, incluindo os dados das eliminatórias!
Análise Real 