Lake, warehouse of lakehouse? Mathijs Visscher en Nicky Boon over data engineering bij Stedin

Data engineering is misschien niet het meest zichtbare vakgebied, maar wel de fundering onder moderne dataplatformen en AI. Mathijs Visscher en Nicky Boon, allebei data platform engineer bij Stedin, vertellen Kishen en Saber hoe ze via psychologie in de data belandden, wat het verschil is tussen een data lake, warehouse en lakehouse, waarom ze bijna altijd voor batch kiezen en wat AI verandert aan hun werk.

Te gast: Mathijs Visscher, Nicky Boon · Presentatie: Kishen Simbhoedatpanday, Saber Karmous

Hoofdstukken

• 0:14 Intro
• 2:12 Van psychologie naar data
• 5:02 Engineer, scientist of analist
• 10:01 Wat doet een data platform engineer?
• 14:15 De toolbox
• 17:28 Data lake, warehouse of lakehouse
• 20:16 Batch of realtime
• 22:51 Een datapipeline bouwen
• 24:57 Datamodellen en normaliseren
• 31:03 Datakwaliteit
• 33:45 Wat is er over vijf jaar verdwenen?
• 40:21 Stelling: eerst je data op orde
• 46:06 Testen en reviewen met AI
• 52:46 Vanaf nul beginnen
• 54:47 De grootste dataramp
• 58:21 Tips
• 1:03:57 Outro

Fragmenten

Lake, warehouse of lakehouse? Het verschil uitgelegd

Nicky legt helder uit waarom een data lake ook wel een 'data swamp' wordt genoemd en wat een lakehouse beter maakt.

Realtime data: buzzword of echte behoefte?

Mathijs stelt de kritische vraag: als je maar één keer per dag naar je dashboard kijkt, waarom wil je dan realtime?

Shownotes

Mathijs Visscher en Nicky Boon zijn allebei data platform engineer bij Stedin. Met Kishen en Saber praten ze over data engineering: de fundering onder moderne dataplatformen en AI. Want zonder goede data geen slimme AI.

Onderwerpen

• Van psychologie naar data: hoe Mathijs en Nicky in data engineering belandden
• Het verschil tussen data engineer, data scientist, data analist en data platform engineer
• De toolbox: Python, Spark, SQL, Databricks, Fabric en Snowflake
• Data lake, warehouse of lakehouse?
• Batch of realtime, en waarom je bijna altijd voor batch kiest
• Een datapipeline bouwen, datamodellen en normaliseren
• Datakwaliteit
• Stelling: iedereen wil AI, maar niemand wil eerst zijn data op orde brengen
• Testen en reviewen met AI
• De grootste dataramp: never deploy on Friday

Links

Beluister de aflevering en lees het volledige transcript op codeklets.nl.