NextEnergy
Om met de grote hoeveelheden data van NextEnergy om te kunnen gaan, hebben we een data lake opgezet met Azure Synapse.
Next Energy is a scale-up energy technology company and offers dynamic energy prices for their customers. These are prices that can vary by day or even by hour. By using energy at the right times, customers can save a lot of money. With this market model, they have grown rapidly in the short time that the organization has existed. It is a digital (cloud-based) organization for which Quatronic laid the foundation with the development of the complete customer registration portal, back office and mobile customer app. All in OutSystems' low-code software in just six months. After that, the software was transferred to NextEnergy so that they can expand the applications themselves. In addition, NextEnergy uses Microsoft applications such as Dynamics and Azure.
Big data
The organization has 'big data'. Large data sets such as customer smart energy meter records, billing information, login details and marketing data. But how do you, as an organization, then use this data to make informed decisions? When an issue arose that needed to be substantiated with data, a query was built “just as quickly”, extracting data directly from the source. This led to the fact that retrieved data had different definitions and meta-data, many ad-hoc reports were created and no history of the same data could be consulted. To combine information from different systems, Excel was often used as the preferred tool. Pragmatic but with many limitations, especially when using large data sets. So a viscous and ad-hoc process. And because the organization has grown so much, data reliability has become increasingly important when making strategic decisions.
Working together on a solution
Gert-Jan Kampkuiper has been the CFO of NextEnergy for several months now and has gained extensive experience in finance, but also in business intelligence at his previous employers PwC and Signature Foods. Just before his arrival, Quatronic started setting up a number of PowerBI reports. Under Gert-Jan's leadership, Quatronic started at the base. Before reports were built, he wanted to determine the most important KPIs with the management team. Some of these KPIs are data-driven. Quatronic has made the translation between these data-driven KPIs and the existing source data sets. This took into account, among other things, making use of data uniformity, the use of timestamps and a central storage location. The very first thing that was needed was to set up a data lake with all relevant data from source systems.
We started setting up a data lake in Azure Synapse. This is an all-in-one solution that includes data loading, storage and analysis functionality. Through a separate environment, you keep the analysis and storage of data separate and prevent analyses from disrupting the operation. In addition, we believe in facilitating self-service analytics, so we set up the platform so that anyone can make reports without being dependent on a data analyst.
We set up the data lake according to a medallion architecture with a bronze, silver and gold layer. This stands for the quality of the data that is increased in each layer. Data from the various source systems enters the bronze layer unprocessed. The silver layer then structures the data to create an overview of the large amount of information. Historical perspectives are also stored in this layer. This makes it possible to analyse the change in processes. Consider, for example, the lead time of a customer's registration process or the payment period for invoices. In the gold layer, tables are combined so that they are ready for analysis.
“In our weekly management update, I can now get the most up to date information at the touch of a button. That alone saves so much time.”
Reports in Excel that previously had to be manually provided with new data are now directly linked to the gold layer and are automatically updated with the latest data. Gert-Jan: “In our weekly management update, I can now get the most up to date information at the touch of a button. That alone saves so much time. ' There are ad-hoc reports within the various departments. We should take on this as our next project. The great thing about a stable data lake is that we can add new data quickly, so that all reports come directly from one source and everyone looks at the same data. '
The future
There are even more advanced plans. There is still a physical whiteboard in the financial department; in a while, a sleek digital dashboard with the company's state of affairs should be built. “We can now also support our gut feeling with data”. The coming period will focus on training employees and including them in the changed way of working. The next phase for NextEnergy is to create new insights and predictions based on data.
Grote hoeveelheden data
NextEnergy bezit over ‘big data’. Grote datasets zoals slimme factuurgegevens, aanmeldgegevens en marketingdata. Maar vooral: registraties van slimme energiemeters die per aansluiting elk uur van de dag nieuwe data opleveren.
Ongestructureerde processen
Als er een vraagstuk ontstond die met data onderbouwd moest worden, werd er ‘even snel’ een query gebouwd, waarbij data rechtstreeks vanuit de bron werd gehaald. Dit leidde ertoe dat opgehaalde data andere definities en meta-data had, er veel ad-hoc rapporten zijn ontstaan en er geen historie van diezelfde data geraadpleegd kon worden. Om informatie van verschillende systemen te combineren, werd vaak Excel gebruikt als aangewezen tool. Pragmatisch maar met veel beperkingen, met name bij het gebruik van grote datasets. Een stroperig en ad-hoc proces dus. En omdat de organisatie zo is gegroeid, is de databetrouwbaarheid steeds belangrijker geworden bij het nemen van strategische beslissingen.
Vóórdat er rapportages gebouwd werden, zijn de belangrijkste KPI's bepaald. Een deel van deze KPI’s zijn data-driven. Quatronic heeft de vertaalslag gemaakt tussen deze data-driven KPI’s en de bestaande brondata sets. Hierbij werd onder andere rekening gehouden met het uniform maken van data, gebruik maken van timestamps en een centrale opslagplek. Het allereerste wat daarvoor nodig was, was het opzetten van een data lake met alle relevante data uit bronsystemen.
We zijn aan de slag gegaan om een data lake in te richten in Azure Synapse. Dit is een alles-in-een oplossing, waarin zowel dataverlading, opslag- en analysefunctionaliteit zit. Door een aparte omgeving hou je het analyseren en opslaan van data gescheiden en voorkom je dat analyses de operatie verstoren. Daarnaast geloven we in het faciliteren van self-service analytics, dus richten we het platform zo in dat iedereen rapportages kan maken zonder afhankelijk te zijn van een data-analist.
Het data lake hebben we opgezet volgens een medaillion architecture met een bronze, silver en gold laag. Dit staat voor de kwaliteit van de data die in elke laag wordt verhoogd. Data uit de verschillende bronsystemen komt onbewerkt binnen in de bronze laag. Vervolgens structureert de silver laag de data om overzicht te creëren in de grote hoeveelheid informatie. Ook wordt in deze laag historisch perspectief opgeslagen. Dit maakt het mogelijk om de verandering van processen te analyseren. Denk bijvoorbeeld aan de doorlooptijd van het aanmeldproces van een klant of de betaaltermijn van facturen. In de gold laag worden tabellen gecombineerd zodat ze klaar zijn voor analyse.
'In onze wekelijkse managementupdate kan ik nu de meest actuele informatie met een druk op een knop naar boven halen. Dat scheelt alleen al zo veel tijd.''
Rapporten in Excel die voorheen handmatig van nieuwe data voorzien moesten worden hebben nu een directe koppeling met de gold laag en worden automatisch geüpdatet met de nieuwste data. Gert-Jan: 'In onze wekelijkse managementupdate kan ik nu de meest actuele informatie met een druk op een knop naar boven halen. Dat scheelt alleen al zo veel tijd.' Het mooie van een stabiel data lake is dat we snel nieuwe data kunnen toevoegen, waardoor alle rapporten dadelijk uit één bron komen en iedereen naar dezelfde data kijkt.
Neem contact op met
Mart
.jpg)
.webp)
.jpg)
