Second Conference on Statistics and Data Science

Title: Big data: potencial, paradoxos e a importância renovada do pensamento estatístico.
Abstract: Vivemos numa era em que a disponibilidade e acessibilidade a dados não tem precedentes. ‘Big data’ é uma das tendências deste início do Milênio a confrontar o pensamento estatístico. Por um lado, há imenso potencial para aproveitar as novas fontes de informação que se tem tornado disponíveis, acessíveis e de baixo custo. Por outro lado, lacunas substanciais persistem e há imensos riscos de utilização inadequada dessas fontes pelos que desprezam as lições traduzidas nos principais fundamentos do pensamento e da metodologia estatística. Uma das falácias principais é a de que, com as imensas bases de dados disponíveis, não será mais preciso avaliar incerteza de estimativas, pois será possível ‘conhecer’ as quantidades de interesse a partir dos ‘big data’. Apresentarei o conceito de ‘Índice de defeito dos dados’ proposto por Meng (2018), e usarei este conceito para mostrar que a qualidade de estimativas baseadas em pequenas amostras bem planejadas e executadas pode superar a de estimativas baseadas em conjuntos muito maiores provenientes de fontes orgânicas sujeitas a vieses de seleção. Penso que a metodologia estatística fornece a orientação essencial necessária para obter respostas atuais, relevantes, precisas e custo-efetivas às perguntas de interesse, mesmo na era do ‘big data’. Apresentarei alguns exemplos para motivar a discussão dessas ideias e de caminhos para superar as limitações das novas fontes de informação.

Title: The Seven Deadly Sins of Big Data -- and How to Avoid Them
Abstract: Organizations, from government to industry accumulate vast amounts of data from a variety of sources nearly continuously. Big data advocates promise the moon and the stars as you harvest the potential of all these data. There is certainly a lot of hype. There’s no doubt that some savvy organizations are fueling their strategic decision making with insights from data mining, but what are the challenges? Much can wrong data analysis cycle, even for trained professionals. In this talk I'll discuss a wide variety of case studies from a range of industries to illustrate the potential dangers and mistakes that can frustrate problem solving and discovery -- and that can unnecessarily waste resources. My goal is that by seeing some of the mistakes I have made, you will learn how to take advantage of data insights without committing the "Seven Deadly Sins."