BI tooling maakt het uitvoeren van Data Profiling op complexe gegevens eenvoudig


Dagelijks hebben we om ons heen
 te maken met grote hoeveelheden data. Denk hierbij aan het gebruik van Facebook, Google en WhatsApp. Door de enorme groei van zowel de hoeveelheid als complexiteit van data wordt datakwaliteit steeds belangrijker en neemt de bewustwording over het beschikken van de juiste data alleen maar toe.  

Het aansturen op basis van onjuiste of niet up-to-date zijnde data kan bedrijven grote financiële schade opleveren. Hier inzicht in kunnen geven is dan ook van grote waarde. CloseSure speelt in op deze uitdaging om, binnen Business Intelligence omgevingen, meer grip te krijgen op datakwaliteit.

Vanuit verschillende invalshoeken zijn in het verleden modellen en richtlijnen bedacht om kwaliteitsattributen voor data te beschrijven. Het probleem is echter dat niet alle aspecten die van invloed van zijn op de kwaliteit van data, zoals vertrouwen en tijd, te ‘vangen’ zijn in één model. Hiervoor is het uiteindelijk noodzakelijk om daadwerkelijk inzicht te krijgen, waar in de keten van een BI-oplossing zich mogelijke problemen met datakwaliteit bevinden. Voorbeelden hiervan zijn incorrecte invoer in de bron, migratie van data en het verouderen van data.

Een methode om inzicht te krijgen in de accuraatheid en compleetheid van deze gegevens is data profiling. Hierbij worden databronnen onderzocht om vervolgens foutieve gebieden inzichtelijk te krijgen. Hierin ligt dan ook gelijk de kracht van data profiling; namelijk visueel inzicht geven in de data in plaats van sturen op basis van datamodellen of requirements documenten. Met behulp van data profling kunnen analyses onder andere worden uitgevoerd op het vlak van compleetheid, uniciteit en waarde spreiding.

Het toepassen van data profiling kan van toegevoegde waarde zijn in tal van situaties. In de basis geldt dat wanneer de kwaliteit van data van groot belang is voor het uiteindelijke doel, data profiling bij kan dragen aan het inzichtelijk maken van de daadwerkelijke structuur en inhoud van de data.
Gekeken naar het BI-landschap zou data profiling een integraal onderdeel moeten zijn van het analyse- en ontwerpproces. Hoe eerder datakwaliteitsproblemen boven water komen hoe sneller en efficiënter deze opgelost kunnen worden.

Het toepassen van data profiling vereist in een traditionele BI-omgeving de nodige technische kennis van SQL, database structuren en modelleringstechnieken. Een uitdaging in deze situatie is tevens om de vertaalslag naar de business en de resultaten aantoonbaar te kunnen maken. Daarnaast is het opstellen, controleren en uitvoeren van de benodigde SQL-queries een tijdrovende activiteit. Om hier een antwoord op te geven zijn er vanuit verschillende partijen zoals Informatica en SAS tools beschikbaar. Dit kunnen zowel open als closed source tools zijn om data profiling mee uit te voeren.

Het grote voordeel van het gebruik van een tool ten opzichte van handmatig werk; is dat er al veel analyselogica ingebouwd is in de tool. Er kan daardoor sneller inzicht worden gegeven in de structuur en inhoud van een dataset. Daarnaast bieden verschillende tools de mogelijkheid om de resultaten visueel weer te geven en op een generieke manier vast te leggen. Vanuit het vakgebied testen zijn er tevens tools beschikbaar voor het uitvoeren van controles, welke in combinatie met data profiling tools tot snelle en heldere inzichten in kwaliteit kunnen leiden.

Door de toenemende mate van digitalisering, de omvang en complexiteit van datastromen en daarmee de opmars van de ‘data-economie’ wordt het grip krijgen op datakwaliteit van steeds groter belang. Hoe eerder er inzicht in de structuur en inhoud van de data kan worden verkregen, hoe eerder er hierop kan worden geanticipeerd. Dit is de voornaamste reden dat bij de inrichting van BI-oplossingen data proflling als techniek bij kan dragen aan het vroegtijdig inzichtelijk maken van datakwaliteit.

CloseSure besteedt met regelmaat aandacht aan dit onderwerp in de vorm van bijeenkomsten en workshops. Houd de blogs in de gaten voor verdere ontwikkelingen!

 

Robert Boeve
Managing Consultant

SOCIAL MEDIA

NEEM CONTACT MET ONS OP

CloseSure Noord BV
de Vos van Steenwijklaan 75
7902 NP Hoogeveen
+31 (0)88 383 01 20

CloseSure Utrecht BV
Landjuweel 5A-5B
3905 PE  Veenendaal
+31 (0)88 383 01 10

CloseSure West BV
Europalaan 16
2408 BG  Alphen a/d Rijn 
+31 (0)88 383 01 50

CloseSure Oost BV
Hazenweg 70
7556 BM  Hengelo
+31 (0)88 383 01 00

CloseSure Zuid BV
Noord Brabantlaan 265
5652 LD  Eindhoven
+31 (0)88 383 01 40

CloseSure Services BV
Hazenweg 70
7556 BM Hengelo
+31 (0)88 383 01 60

(c) Copyright 2017-2020 CloseSure Nederland B.V. - Privacyverklaring

SHARE THIS!