NextEnergy - Datagedreven Werken
Om met de grote hoeveelheden data van NextEnergy om te kunnen gaan, hebben we een data lake opgezet met Azure Synapse.
NextEnergy is een scale-up energietechnologiebedrijf en biedt dynamische energieprijzen voor hun klanten aan. Dit zijn prijzen die per dag of zelfs per uur kunnen verschillen. Door op de juiste momenten energie te gebruiken kunnen klanten veel geld besparen. Het is een digitale (cloud-based) organisatie waar Quatronic de basis heeft gelegd van het gehele IT landschap. De grote hoeveelheden data die bij NextEnergy binnen komen over onder andere energieverbruik van klanten bieden mooie mogelijkheden voor data-gedreven werken.
Grote hoeveelheden data
NextEnergy bezit over ‘big data’. Grote datasets zoals slimme factuurgegevens, aanmeldgegevens en marketingdata. Maar vooral: registraties van slimme energiemeters die per aansluiting elk uur van de dag nieuwe data opleveren.
Ongestructureerde processen
Als er een vraagstuk ontstond die met data onderbouwd moest worden, werd er ‘even snel’ een query gebouwd, waarbij data rechtstreeks vanuit de bron werd gehaald. Dit leidde ertoe dat opgehaalde data andere definities en meta-data had, er veel ad-hoc rapporten zijn ontstaan en er geen historie van diezelfde data geraadpleegd kon worden. Om informatie van verschillende systemen te combineren, werd vaak Excel gebruikt als aangewezen tool. Pragmatisch maar met veel beperkingen, met name bij het gebruik van grote datasets. Een stroperig en ad-hoc proces dus. En omdat de organisatie zo is gegroeid, is de databetrouwbaarheid steeds belangrijker geworden bij het nemen van strategische beslissingen.
Vóórdat er rapportages gebouwd werden, zijn de belangrijkste KPI's bepaald. Een deel van deze KPI’s zijn data-driven. Quatronic heeft de vertaalslag gemaakt tussen deze data-driven KPI’s en de bestaande brondata sets. Hierbij werd onder andere rekening gehouden met het uniform maken van data, gebruik maken van timestamps en een centrale opslagplek. Het allereerste wat daarvoor nodig was, was het opzetten van een data lake met alle relevante data uit bronsystemen.
We zijn aan de slag gegaan om een data lake in te richten in Azure Synapse. Dit is een alles-in-een oplossing, waarin zowel dataverlading, opslag- en analysefunctionaliteit zit. Door een aparte omgeving hou je het analyseren en opslaan van data gescheiden en voorkom je dat analyses de operatie verstoren. Daarnaast geloven we in het faciliteren van self-service analytics, dus richten we het platform zo in dat iedereen rapportages kan maken zonder afhankelijk te zijn van een data-analist.
Het data lake hebben we opgezet volgens een medaillion architecture met een bronze, silver en gold laag. Dit staat voor de kwaliteit van de data die in elke laag wordt verhoogd. Data uit de verschillende bronsystemen komt onbewerkt binnen in de bronze laag. Vervolgens structureert de silver laag de data om overzicht te creëren in de grote hoeveelheid informatie. Ook wordt in deze laag historisch perspectief opgeslagen. Dit maakt het mogelijk om de verandering van processen te analyseren. Denk bijvoorbeeld aan de doorlooptijd van het aanmeldproces van een klant of de betaaltermijn van facturen. In de gold laag worden tabellen gecombineerd zodat ze klaar zijn voor analyse.
'In onze wekelijkse managementupdate kan ik nu de meest actuele informatie met een druk op een knop naar boven halen. Dat scheelt alleen al zo veel tijd.''
Rapporten in Excel die voorheen handmatig van nieuwe data voorzien moesten worden hebben nu een directe koppeling met de gold laag en worden automatisch geüpdatet met de nieuwste data. Gert-Jan: 'In onze wekelijkse managementupdate kan ik nu de meest actuele informatie met een druk op een knop naar boven halen. Dat scheelt alleen al zo veel tijd.' Het mooie van een stabiel data lake is dat we snel nieuwe data kunnen toevoegen, waardoor alle rapporten dadelijk uit één bron komen en iedereen naar dezelfde data kijkt.
Neem contact op met
Mart
.jpg)
.webp)
.jpg)
