Uma entrevista didática sobre Big Data

Embora tenha nascido na década de 1990, o termo Big Data começou a ser desenvolvido e utilizado pelo mercado com mais frequência nos últimos anos. Muita gente, entretanto, ainda tem dúvidas sobre o seu real significado, além de sua eficácia e aplicabilidade nos negócios.

Outra pergunta recorrente é: o que isso tem a ver com as redes sociais? O Adnews entrevistou Rodrigo Arrigoni, sócio fundador da R18, empresa de comunicação e tecnologia especializada em análise de dados nas redes sociais, para explicar de maneira simplificada o que é e para que serve o Big Data.

De forma didática, como explicar o que é Big Data?
Rodrigo Arrigoni - O termo Big Data nasceu no início da década de 1990, na NASA, para descrever grandes conjuntos de dados complexos que desafiam os limites computacionais tradicionais de captura, processamento, análise e armazenamento informacional. E, dado o grande universo originado ao redor do assunto nesses últimos anos, hoje o Big Data pode ser considerado como uma região de conhecimento transversal a que abrange diversas áreas produtivas e pesquisas científicas. É uma disciplina focada em gerar conhecimento e inteligência a partir de grandes quantidades de dados complexos.

Existe uma diferença entre Big Data e monitoramento nas redes sociais?
Rodrigo Arrigoni - Sim, existe. O monitoramento pode ser um projeto de Big Data, dependendo do tamanho da captação, da complexidade de processamento e da análise desses dados. De qualquer maneira, o monitoramento web tem tudo para ser um projeto de Big Data. Hoje, é possível garimpar, processar e gerar relatórios utilizando grandes quantidades de dados em um curto período de tempo. Temos pesquisas, por exemplo, com mais de 3 milhões de posts. Todos são modelados, classificados com Machine Learning e analisados em horas ou minutos, dependendo do tipo de processo.

Como o Big Data pode ajudar a publicidade?
Rodrigo Arrigoni - O setor publicitário pode utilizar Big Data para gerar insights em diversos pontos do processo comunicacional, como compra de mídia, atualização de linguagem, testes conceituais, análise de tendências ou análise do resultado de campanhas.

O conceito também pode ser aplicado para empresas pequenas?
Rodrigo Arrigoni - Sim. Considerando que o cloud computing democratizou a infra estrutura necessária, o grande investimento concentra-se na aquisição do conhecimento necessário para aplicação da disciplina. O Big Data exige conhecimento em computação científica, estatística, probabilidade, machine learning, text mining (com processamento de linguagem natural), teoria dos grafos e outros. Existem inúmeras fontes de informação e aulas online gratuitas, além de softwares e linguagens de programação open source para o desenvolvimento desse tipo de projeto. De qualquer maneira, hoje, um dos grandes tópicos no setor é a democratização de soluções prontas para pequenas e medias empresas.

Quais são os cases de sucesso que utilizaram o Big Data?
Rodrigo Arrigoni - Hoje, várias áreas são guiadas por programas desenvolvidos a partir da análise em Big Data. Na área médica, pesquisadores do Instituto de Tecnologia de Massachusetts (MIT), da Universidade de Michigan, do Hospital Brigham, de Boston, e da Escola de Medicina da Harvard desenvolveram uma ferramenta que determina com mais precisão a possibilidade de ataques cardíacos e até risco de morte em pacientes que já sofrem do coração. Eles estudaram os eletrocardiogramas (ECG) de um grupo de risco e encontraram indicadores sutis, até então escondidos, que antecipam crises cardíacas. Ao observar fragmentos de dados de ECG, médicos e enfermeiros jamais conseguiriam chegar a uma determinante para o comportamento dos pacientes. Essa tarefa só foi possível ao enxergar o quadro todo, em grande escala, através de técnicas de data mining e machine learning.

Também na área médica, um hospital de Santa Clara (Kaiser Permanente Santa Clara Medical Center, Califórnia, EUA) comprou um software que armazena os dados dos pacientes ainda na triagem, junto dos futuros diagnósticos destes mesmos pacientes. A partir do cruzamento com informações e comportamentos de novos pacientes, o software consegue antecipar diagnósticos, sintomas e sugerir tratamento, internações e exames complexos. O sistema custou US$ 4 milhões e foi integrado aos 37 hospitais da rede Kaiser. Hoje, ajuda médicos e enfermeiros a chegarem a diagnósticos mais precisos e rápidos.

Big Data também é aplicado em programas de previsão meteorológica - útil para fazendeiros, pescadores e até iatistas ou surfistas - na indústria farmacêutica, no desenvolvimento de novas fontes de energia e também para rastrear terroristas ou detectar fraudes.

Embora tenha nascido na década de 1990, o termo Big Data começou a ser desenvolvido e utilizado pelo mercado com mais frequência nos últimos anos. Muita gente, entretanto, ainda tem dúvidas sobre o seu real significado, além de sua eficácia e aplicabilidade nos negócios.

Outra pergunta recorrente é: o que isso tem a ver com as redes sociais? O Adnews entrevistou Rodrigo Arrigoni, sócio fundador da R18, empresa de comunicação e tecnologia especializada em análise de dados nas redes sociais, para explicar de maneira simplificada o que é e para que serve o Big Data.

De forma didática, como explicar o que é Big Data?
Rodrigo Arrigoni - O termo Big Data nasceu no início da década de 1990, na NASA, para descrever grandes conjuntos de dados complexos que desafiam os limites computacionais tradicionais de captura, processamento, análise e armazenamento informacional. E, dado o grande universo originado ao redor do assunto nesses últimos anos, hoje o Big Data pode ser considerado como uma região de conhecimento transversal a que abrange diversas áreas produtivas e pesquisas científicas. É uma disciplina focada em gerar conhecimento e inteligência a partir de grandes quantidades de dados complexos.

Existe uma diferença entre Big Data e monitoramento nas redes sociais?
Rodrigo Arrigoni - Sim, existe. O monitoramento pode ser um projeto de Big Data, dependendo do tamanho da captação, da complexidade de processamento e da análise desses dados. De qualquer maneira, o monitoramento web tem tudo para ser um projeto de Big Data. Hoje, é possível garimpar, processar e gerar relatórios utilizando grandes quantidades de dados em um curto período de tempo. Temos pesquisas, por exemplo, com mais de 3 milhões de posts. Todos são modelados, classificados com Machine Learning e analisados em horas ou minutos, dependendo do tipo de processo.

Como o Big Data pode ajudar a publicidade?
Rodrigo Arrigoni - O setor publicitário pode utilizar Big Data para gerar insights em diversos pontos do processo comunicacional, como compra de mídia, atualização de linguagem, testes conceituais, análise de tendências ou análise do resultado de campanhas.

O conceito também pode ser aplicado para empresas pequenas?
Rodrigo Arrigoni - Sim. Considerando que o cloud computing democratizou a infra estrutura necessária, o grande investimento concentra-se na aquisição do conhecimento necessário para aplicação da disciplina. O Big Data exige conhecimento em computação científica, estatística, probabilidade, machine learning, text mining (com processamento de linguagem natural), teoria dos grafos e outros. Existem inúmeras fontes de informação e aulas online gratuitas, além de softwares e linguagens de programação open source para o desenvolvimento desse tipo de projeto. De qualquer maneira, hoje, um dos grandes tópicos no setor é a democratização de soluções prontas para pequenas e medias empresas.

Quais são os cases de sucesso que utilizaram o Big Data?
Rodrigo Arrigoni - Hoje, várias áreas são guiadas por programas desenvolvidos a partir da análise em Big Data. Na área médica, pesquisadores do Instituto de Tecnologia de Massachusetts (MIT), da Universidade de Michigan, do Hospital Brigham, de Boston, e da Escola de Medicina da Harvard desenvolveram uma ferramenta que determina com mais precisão a possibilidade de ataques cardíacos e até risco de morte em pacientes que já sofrem do coração. Eles estudaram os eletrocardiogramas (ECG) de um grupo de risco e encontraram indicadores sutis, até então escondidos, que antecipam crises cardíacas. Ao observar fragmentos de dados de ECG, médicos e enfermeiros jamais conseguiriam chegar a uma determinante para o comportamento dos pacientes. Essa tarefa só foi possível ao enxergar o quadro todo, em grande escala, através de técnicas de data mining e machine learning.

Também na área médica, um hospital de Santa Clara (Kaiser Permanente Santa Clara Medical Center, Califórnia, EUA) comprou um software que armazena os dados dos pacientes ainda na triagem, junto dos futuros diagnósticos destes mesmos pacientes. A partir do cruzamento com informações e comportamentos de novos pacientes, o software consegue antecipar diagnósticos, sintomas e sugerir tratamento, internações e exames complexos. O sistema custou US$ 4 milhões e foi integrado aos 37 hospitais da rede Kaiser. Hoje, ajuda médicos e enfermeiros a chegarem a diagnósticos mais precisos e rápidos.

Big Data também é aplicado em programas de previsão meteorológica - útil para fazendeiros, pescadores e até iatistas ou surfistas - na indústria farmacêutica, no desenvolvimento de novas fontes de energia e também para rastrear terroristas ou detectar fraudes.