Att omvandla data till insikter

Data is the new oil, traduzida literalmente para “os dados são o novo petróleo” é uma frase icónica que todos nós já ouvimos e que parece ser cada vez mais atual, apesar de ter sido dita pela primeira vez há mais de uma década (em 2006, por Clive Humby, Senior Marketer na Tesco). Mas será mesmo verdade?

Som konsumenter upplever vi varje dag hur våra uppgifter påverkar organisationer att förbättra sina produkter och tjänster.

Dagligen använder miljontals människor i hela världen sociala medier som sökmotorer. De största organisationerna på global nivå har idag en stor del av sin framgång i form av analys och analys av data i stor skala om hur deras plattformar används, eftersom detta ger solida grunder för att fatta beslut som förbättrar användarnas upplevelse.

Vi kan bekräfta att datan är en viktig del av alla typer av aktiviteter.

No entanto, analisando a frase data is the new oil, conseguimos identificar uma grande diferença entre os dois sujeitos - o petróleo é valioso, mas escasso, enquanto que os dados têm tendência a gerar cada vez mais valor com o tempo e utilização. Organizações que recolhem grandes quantidades de dados geram mais e melhores insights que podem ser traduzidos em valor direto para as organizações. À recolha e análise de dados em grande escala dá-se o nome de big data.

A importância de um data warehouse moderno

Os armazéns de dados (data warehouses) têm um papel chave a desempenhar no processo de criação de valor para as organizações, pois são em primeiro lugar os responsáveis pela agregação de dados das mais diversas fontes de informação, podendo ser geridos tanto on-premises como na Cloud. Essencial para que os possam ser analisados em grande escala, um data warehouse moderno: suporta qualquer fonte de dados; é facilmente escalável e de simples acesso; centraliza todos os dados (internos ou externos), relevantes para a organização; fornece insights em tempo real através de dashboard; suporta modelos de analítica avançada como machine learning ou Inteligência Artificial.

Um data warehouse moderno deve armazenar dados de forma a que estes sejam facilmente acessíveis pelos seus consumidores e simultaneamente possuir a capacidade de processar e interpretar todo o tipo de dados de forma ágil e eficiente.

Como estruturar os dados em grande escala?

Tidigare var de enda datafontes som användes för applikationer databaser. Men för närvarande finns det hundratals, om inte miljontals, olika typsnitt, och varje typsnitt har olika typer av data, som kan vara kontrollerade eller inte kontrollerade.

De estruturerade uppgifterna har en struktur som kan tolkas enkelt. Exempelvis: kundnamn, morötter, geolokalisering, data, telefonkontakter, produktnamn, lagerenheter (SKU).

Däremot kan inte alla uppgifter från organisationer klassificeras numeriskt eller semantiskt, och det är här som de icke-störda uppgifterna kommer in som: bilder, videoklipp, e-post och dokument, IoT-apparater och sensorer.

Dessa uppgifter är extremt viktiga för att konsolideras och integreras med andra uppgifter, vilket gör det möjligt att få en helhetsbild av företagets komponenter, t.ex. av kunderna.

För att uppnå detta mål är det viktigt att se till att datalösningarna kan integrera dessa två typer av data på en enda central plats.

Construir uma Data pipeline

Após identificar todas as diferentes fontes de dados, é essencial criar uma data pipeline. Os passos necessários nesta fase são:

1. transferir os dados de todas as fontes (estruturados e não estruturados) para a data warehouse;

2. armazenar os dados num data lake;

3. aplicar processos e procedimentos de data quality, preparando-os para serem utilizados em modelos analíticos avançados;

4. aplicar regras e conceitos de negócio, disponibilizando-os para serem consumidos pelos seus utilizadores;

5. exploração e visualização dos dados em plataformas como o Power BI. Data visualisation fornece uma representação rica e relevante dos dados que permitem a tomada de decisões data-driven, adicionando valor ao negócio e aos clientes.

Através desta abordagem, é construída uma arquitetura altamente escalável que serve todos os utilizadores: desde utilizadores finais, a data engineers e cientistas de dados que exploram os dados, a analistas que os interpretam para o negócio e até ao CEO que pretende compreender melhor o que acontece no seu negócio em tempo real.

Artigo de branded content na IT Insight, página 44.