Dark Analytics: afinal, o que é?

A realidade virtual parece simular o nível de diversificação e a amplitude do mundo físico, elevando a pesquisa estatística a patamares inéditos. Fundamentais para a automação, a coleta e tratamento de dados ganha novos horizontes com o Dark Analytics.

Apesar do nome macabro, esse conceito de Dark Analytics é relativamente simples. Consiste no uso de fontes não-estruturadas, registros soltos do que acontece na web, na realização de pesquisas de mercado e qualquer processo de amostragem.

Esse artigo vai demonstrar como o conceito de Dark Analytics está muito mais próximo do usuário médio do que se imagina, como ele se relaciona com palavras populares como Big Data e algoritmos, e por fim, quais são suas contribuições para as empresas.

O vasto mundo criado por registros

Imagine a internet como uma grande e caótica biblioteca, um cômodo que registra cada movimento daqueles que transitam ali. O horário de sua entrada e saída, a quantidade de passos e a rota destes para aproximar-se das prateleiras, os livros abertos.

Todas essas informações seriam armazenadas do jeito que foram colhidas, sem qualquer ordenação ou nota de rodapé. Um registro individual poderia ser o movimento de abertura da porta ou o último livro tocado pelo leitor. A sessão termina quando este sai da sala.

Trata-se de uma analogia que tenta transformar em imagem uma série de processos que acontecem na rede mundial de computadores a cada segundo. O leitor que entrou na biblioteca passa a se chamar usuário e os registros são dados.

A web é formada por uma cadeia intrincada de servidores e máquinas-cliente, que trocam arquivos de maneira incessante, coordenados por comandos e autorizações pré-programadas como um sistema de interfone para condomínio, ou algoritmos.

Mais de 90% desses dados nunca vão ser ordenados de maneira adequada, em bases que estabeleçam um sentido para a miríade de informações. Um dos motivos para tão baixo aproveitamento de registros é a limitação encontrada no armazenamento de dados.

Para armazenar a quantidade de registros correspondente ao que é processado pelas pioneiras da tecnologia digital, como os sites de busca por palavras-chave, é necessário um alto gasto em processamento, inacessível para grande parte das empresas.

Desta forma, a capacidade de analisar amostras para o planejamento estratégico é significativamente reduzida. Outro fator que acentua este cenário é a falta de conhecimento de muitos gestores em relação às ferramentas virtuais.

A aplicação de conceitos da estatística na administração ganha peso conforme os empreendimentos expandem suas operações para além da região de origem, seja em território nacional ou mesmo global.

Soluções de logística como motoboy frete e transportadoras de médio porte ampliam o número de consumidores que precisam ser observados por uma empresa, exigindo metodologias de controle mais efetivas, voltadas para a análise de grandes grupos.

Big Data e dados não estruturados

A ideia de Dark Analytics gira em torno do aproveitamento desse “lixo estatístico”, o volume de dados não estruturados que estão à margem dos sistemas de monitoramento convencionais. Algumas da fontes de dados usados em Dark Analytics são:

• Publicação de imagens e vídeos em redes sociais;
• Upload de fichas em plataformas abertas de cadastro;
• Mensagens de e-mail e serviços similares;
• Arquivos de áudio;
• Deep web.

No campo dos dados não estruturados, o Dark Analytics pode distinguir duas classificações para o tipo de arquivo que será buscado, coletado e reaproveitado. São os dados não estruturados encontrados no sistema da empresa e fora, na rede aberta.

Os registros internos que são aproveitados por uma indústria de asfalto a frio ensacado, por exemplo, em geral se referem aos números contábeis, movimentação de caixa e estoque, especificações técnicas de fabricação e transporte.

As mensagens enviadas entre funcionários e gestores no sistema da empresa, bem como as atividades cotidianas realizadas nos softwares da indústria constam como dados não estruturados, e por isso, se perdem com facilidade.

Já os dados não estruturados da rede aberta formam aquilo que se chama de Big Data, o imenso volume de informações geradas por cada plataforma ativa na internet, sejam blogs, sites institucionais, sites de busca, fóruns em pabx em nuvem ou redes sociais.

A Deep Web aparece neste contexto como uma camada mais profunda de dados não tratados por sistemas tradicionais, seja pela falta de infraestrutura para carregamento de um grande volume de informações, seja por limitações de acesso externas.

Segurança da informação e privacidade

Quando se lida com informações na internet, o nível de privacidade dos indivíduos por trás dos registros é uma constante. São considerados dados sensíveis todos aqueles que podem ser usados contra a integridade de seu detentor.

Portanto, dados de identificação, como nome e endereço, dados demográficos como renda, idade, condições de saúde e sexo, bem como dados relacionados à identidade pessoal, como orientação sexual, religião, opinião política e etnia são classificados desta forma.

Para garantir a segurança da informação e adequar um sistema de Dark Analytics em uma empresa, é necessário realizar um processo denominado “anonimização”. Isso significa dissociar registros de indivíduos, de modo a tornar impossível sua identificação.

Assim, diversas técnicas de amostragem podem facilitar no aproveitamento de dados não estruturados em ambientes corporativos, como em uma agência de táxi aéreo executivo, removendo barreiras que outrora impediriam sua exploração.

Por que os dados não tratados são importantes?

Dados não estruturados contém, em grande parte das vezes, informações valiosas sobre as necessidades dos consumidores e suas preferências, viabilizando uma análise profunda do comportamento médio da população para quem uma estratégia é direcionada.

Com o crescimento dos aparelhos inteligentes, impulsionado pela proposta IoT (Internet of Things, ou “internet das coisas”), a quantidade de registros que podem ser gerados tende a se multiplicar, condensando toda a realidade em bancos de dados.

A criação de algoritmos para a execução de tarefas empresariais, tocando desde um serviço de locação de impressora laser colorida até o setor de saúde, representa o coração da automação de processos que define a tônica das sociedades futuras.

Considerando que um algoritmo é uma sequência de comandos com entradas e saídas, isto é, com um objetivo e resultado objetivo, os esforços em aprendizado de máquina dependem do avanço de Dark Analytics para avançar em contextos mais imprevisíveis.

Um exemplo de investimento em Dark Analytics pode ser encontrado nos algoritmos de identificação e descrição de imagens, como a foto de uma máscara proteção, com o recente Show and Tell, usado para melhorar a experiência de deficientes visuais.

A fim de preparar-se para o futuro e estabelecer competitividade no presente, as empresas devem investir no tratamento de Dark Data para tornar resultados mais precisos, automatizar um número maior de funções e impulsionar a produtividade.

Vantagens de usar Dark Analytics

As empresas que investem em Dark Analytics se destacam no mercado, uma vez que este é um novo patamar nas fases de pesquisa próprias do planejamento estratégico. Alguns dos benefícios mais evidentes da prática são:

1 – Conhecimento aprofundado de mercado

Conhecer o mercado em que uma empresa está inserida é um requisito básico para um gestor. A capacidade de mapear processos comerciais é o que permite a identificação de forças, fraquezas e oportunidades a serem exploradas por uma marca.

2 – Estratégias mais efetivas

O Dark Analytics, ao aumentar o número de dados processados por um software de controle, faz crescer o nível de precisão dos resultados calculados pela máquina, gerando relatórios que apontam para estratégias mais efetivas.

3 – Aprendizado ágil em tecnologia

O aprendizado ágil é um princípio que aponta o processo de assimilação de conhecimento como uma simbiose entre análise teórica e aplicação empírica, criando adaptabilidade. O Dark Analytics é a inserção deste conceito dentro da indústria tecnológica.

As ações de tratamento e interpretação de dados não estruturados são possíveis através da inteligência artificial, cada vez mais capaz de reconhecer padrões em cenários distintos. Assim, o mesmo objeto pode ser identificado em vários registros de coquetel inauguração.

4 – Infraestrutura de ponta

A iniciativa SaaS (Software as a Service) atraiu a atenção do público para recursos como o armazenamento em nuvem. Diante do aumento na demanda por processamento em dispositivos, a tecnologia em nuvem transfere parte deste peso para servidores na web.

O Dark Analytics busca formas otimizadas de escalar a capacidade de armazenamento em máquina, potencializando o funcionamento de computadores e das plataformas online conectadas a eles.

Considerações finais

Dark Analytics, por fim, se traduz como uma tentativa de aproximar máquina e humano. Considerando que registros não-estruturados contém informações mais valiosas para mapear o comportamento orgânico, o Dark Data lança luzes sobre a imprevisibilidade.

Em termos práticos, isso significa melhores descobertas no campo da pesquisa empresarial e científica, avanços na tecnologia da informação voltada para inteligência artificial, além da criação de melhores interfaces e produtos para o usuário.

Esse texto foi originalmente desenvolvido pela equipe do blog Guia de Investimento, onde você pode encontrar centenas de conteúdos informativos sobre diversos segmentos.