Het ETL-proces uitgelegd

Typ je elke maand cijfers over uit je boekhouding, je CRM en je webshop? Dan doe je met de hand wat een ETL-proces automatisch doet. ETL staat voor extract, transform en load: gegevens ophalen, omzetten naar één vorm en laden in je datawarehouse. Dat gebeurt op een vast moment, bijvoorbeeld elke nacht, en met controles die melden als er iets misgaat. Een eerste koppeling voor één bron met een goede API kost naar onze inschatting enkele dagen tot een week werk.

Wat is ETL? De drie stappen

ETL is een vorm van data-integratie: gegevens uit meerdere bronnen samenbrengen op één plek. Het bestaat uit drie stappen.

Extract: ophalen. Het proces haalt een kopie van de gegevens uit je systemen, bijvoorbeeld de facturen van gisteren uit je boekhouding en de bestellingen uit je webshop. De systemen zelf blijven werken zoals ze nu werken.

Transform: omzetten. Elk systeem noteert dingen op zijn eigen manier. De webshop schrijft een datum als 03-11-2026, de boekhouding als 2026-11-03. Dezelfde klant heet in je CRM “Jansen Installatie” en in je boekhouding “Jansen B.V.”. In deze stap krijgen datums en bedragen één vorm, worden dubbele klanten samengevoegd en worden codes vertaald. Hier zit het meeste werk, omdat elke afwijking in je gegevens hier boven water komt.

Load: laden. De omgezette gegevens gaan in je datawarehouse, in tabellen waar je dashboards en rapportages uit lezen.

Je komt ook de term ELT tegen. Dat zijn dezelfde stappen in een andere volgorde: de gegevens gaan eerst ruw het warehouse in en worden daar omgezet. Je dashboards zien er in beide gevallen hetzelfde uit. Bij ELT blijven de ruwe gegevens ook bewaard, zodat je ze later opnieuw kunt omzetten.

Systemen koppelen: drie manieren om gegevens op te halen

Het ophalen kan op drie manieren.

• Via een API. Een API is een vaste ingang waarlangs software gegevens uit een systeem kan opvragen. Als je een API-koppeling laat maken, is dit wat er wordt gebouwd. Het is meestal de betrouwbaarste route, omdat een storing meestal een duidelijke melding geeft en er niemand aan te pas komt.
• Via een kant-en-klare koppeling. Een dienst die de API’s van bekende pakketten al kent. Dat is snel ingericht. Je betaalt meestal doorlopend en je bent afhankelijk van wat de dienst ondersteunt.
• Via een exportbestand. Het systeem zet op een vast moment een bestand klaar, dat het proces daarna ophaalt. Dit werkt ook bij oudere systemen zonder API. Het breekt sneller, bijvoorbeeld als er een kolom verandert of het bestand een keer niet komt.

Sta je op het punt een nieuw systeem te kopen? Vraag de leverancier dan of je je gegevens automatisch uit dat systeem kunt halen en wat dat kost. Dat antwoord bepaalt voor een groot deel hoeveel werk de koppeling later wordt.

Data pipeline: wat er elke nacht gebeurt

Een data pipeline is de geautomatiseerde route die gegevens afleggen van bron naar warehouse. Een nacht ziet er zo uit:

1. Start. Op een vast tijdstip begint het proces, als het rustig is op de systemen.
2. Ophalen. Per bron komen de nieuwe en gewijzigde gegevens binnen.
3. Controleren. De gegevens gaan langs de controles die hieronder staan.
4. Laden. Wat is goedgekeurd, gaat het warehouse in.
5. Melden. Je dashboards hebben ’s ochtends de nieuwe cijfers. Ging er iets mis, dan krijgt de beheerder een bericht.

Is een bron een nacht onbereikbaar, dan blijven de cijfers van de vorige dag staan en krijgt de beheerder een melding. Op je dashboard kun je laten zien hoe oud de gegevens per bron zijn, zodat iedereen weet hoe actueel de cijfers zijn.

Controles: waarom een pijplijn zonder checks gevaarlijk is

Een dashboard dat niet ververst valt meteen op. Een fout cijfer dat er goed uitziet valt pas op als er al een beslissing op is genomen. Daarom kost een stille fout meer dan een proces dat stopt.

Met deze vier controles kom je een heel eind:

• Aantal regels. Komen er ineens veel minder orders binnen dan op een gewone dag, dan klopt er iets niet.
• Verplichte velden. Een order zonder klantcode hoort niet zomaar in je omzet per klant te belanden.
• Totalen. De omzet per maand in het warehouse moet na het laden gelijk zijn aan die in de bron.
• Versheid. Een lijst die drie dagen niet is bijgewerkt, krijgt een waarschuwing.

Als er later toch een fout doorheen glipt, voeg je er een controle voor toe. Zo wordt het proces met de tijd betrouwbaarder.

ETL tools: kopen of zelf bouwen?

Voor de uitvoering heb je grofweg twee routes.

Kant-en-klare koppelingen. Je klikt een bron aan en de gegevens komen binnen. Dat is snel en je hoeft weinig te onderhouden. Je betaalt meestal per gebruik of per maand. Past een bron of een bijzondere regel er niet in, dan zit je vast aan wat de tool kan.

Eigen scripts in SQL en Python. Dit kost meer werk aan het begin en je kunt er alles mee wat je nodig hebt, ook bij een eigen orderportaal of een rommelige Excel-lijst. Er moet wel iemand zijn die de scripts begrijpt en bijhoudt.

Veel bedrijven combineren die twee: een kant-en-klare koppeling voor de bekende pakketten, en scripts voor de rest. De vraag die het zwaarst weegt is wie het straks beheert. Heb je daar niemand voor in huis, dan kun je het uitbesteden. Op onze dienstenpagina zie je wat wij daarin doen.

Reken voor de bouw op enkele dagen tot een week werk per bron met een goede API, en langer als de gegevens rommelig zijn. Daarna kost het beheer van het geheel enkele uren per maand. Een kant-en-klare koppeling kost van niets bij weinig data tot enkele tientjes per bron per maand, bij grote volumes een paar honderd euro. Dit zijn onze inschattingen, voor de koppelingen op basis van de prijzen in dollars van Fivetran en Airbyte. De overige softwarekosten staan bij de totale kosten van een datawarehouse.

Voorbeeld: Groothandel Kade

Dit is een voorbeeld. Groothandel Kade is een verzonnen bedrijf.

Kade verkoopt sanitair en installatiemateriaal en heeft 38 medewerkers. De gegevens staan in Exact, een eigen orderportaal en drie Excel-lijsten. Elke nacht haalt het proces de omzet uit Exact en de orders uit het orderportaal. Bij het omzetten krijgen beide bronnen dezelfde klantcodes en artikelnummers, en daarna gaan de gegevens het warehouse in.

Op een ochtend staat er een order zonder klantcode in het portaal. De controle houdt die regel apart en de controller krijgt een bericht. De binnendienst vult de code aan, en de volgende nacht telt de order mee. De voorraadlijst wordt nog met de hand bijgewerkt. Die krijgt op het dashboard een waarschuwing zodra ze achterloopt.

Wat kun je bij jou koppelen?

Dat zoeken we samen uit in de gratis Data & AI scan. Je vult elf vragen in, dat duurt ongeveer vijf minuten. Binnen twee werkdagen nemen we contact op voor een gesprek van 45 minuten. Binnen tien werkdagen na het gesprek krijg je een rapport over waar je staat, met drie quick wins.

Start je gratis scan