Ga naar de hoofdinhoud

Databricks Medallion-architectuur voor voedingsproductie

Bronsystemen

ERP
MES / OT
WMS

Bronze

Behouden

Silver

Contextualiseer

Gold

Publiceren

Consumeer

Power BI
SQL
AI
Verken het model Implementatiegids

Medallion-model

Drie lagen. Drie verschillende datacontracten.

Iedere laag moet een duidelijke verantwoordelijkheid en exitcondition hebben voordat data naar de volgende gaat.

01 · Bronze

Behouden

Behouden

Bronwaarheid

Keys, timestamps en oorspronkelijke payloadsemantiek.

Vermijd

Businessinterpretatie

Reconcilieer of herdefinieer het proces nog niet.

Klaar wanneer

De bron kan worden gereproduceerd.

02 · Silver

Contextualiseer

Afstemmen

Manufacturing-context

Order, lijn, batch, receptuur, tijd, units en kwaliteit.

Los op

Cross-systemverschillen

Laat ERP, MES en WMS hetzelfde fysieke proces beschrijven.

Klaar wanneer

De systemen beschrijven één operationele werkelijkheid.

03 · Gold

Publiceren

Model

Beslisklare data

Stabiele facts, dimensies en governed metrics.

Bedien

Herbruikbare dataproducten

Productie, yield, voorraad, rapportage en AI.

Klaar wanneer

Consumers bouwen bronlogica niet langer opnieuw.

De belangrijke boundary is Silver. Daar worden losse ERP-, MES- en WMS-records één governed model van het food-manufacturingproces.

Bronze-laag

Bronze: behoud de bronwaarheid voordat je deze verbetert

Bronze is het replaybare contract met de bron. Het moet beschermen tegen bronwijzigingen, laat binnenkomende records en transformatiefouten zonder te doen alsof de data al business-ready is.

Bewaar in Bronze

Originele bronidentifiers

Ordernummers, machine-ID's, lotnummers en bronspecifieke statuscodes blijven beschikbaar voor reconciliatie.

Bron- en ingestietijd

Bewaar de business timestamp apart van het moment waarop Databricks het record ontving.

Voldoende historie om opnieuw op te bouwen

Bewaar append-, CDC- of snapshothistorie met de nauwkeurigheid die nodig is om downstream state opnieuw te kunnen opbouwen.

Ingestion-metadata

Leg bestandspad, connectormetadata, batchidentifiers of andere provenance vast die nodig is om gaten te onderzoeken.

Houd buiten Bronze

Enterprise key replacement

Verwijder de oorspronkelijke key niet alleen omdat elders een geconformeerde identifier bestaat.

Cross-system-businessjoins

Order-to-line, batchgenealogie en temporale reconciliatie horen in de contextual layer.

Definitieve KPI-definities

OEE, yield, giveaway en shelf-life eligibility horen niet in het raw landing-contract te worden ingebed.

Lakeflow SQL-voorbeeld

Laad MES-eventfiles incrementeel in een Bronze-streamingtabel
SQL · Bronze streaming table
CREATE OR REFRESH STREAMING TABLE bronze_mes_events AS
SELECT
  *,
  current_timestamp() AS _ingested_at,
  _metadata.file_path AS _source_file
FROM STREAM read_files(
  '/Volumes/factory/raw/mes',
  format => 'json'
);

Silver-laag

Silver: maak van losse systemen één food-manufacturingproces

Hier hoort het grootste deel van manufacturing data engineering thuis. Alleen cleaning is niet genoeg; Silver moet de operationele relaties oplossen die ERP, MES, WMS en kwaliteitssystemen verschillend uitdrukken.

De contextuele laag

Silver moet het fysieke proces beschrijven, niet de bronapplicatie

order × lijn × batch × receptuur × tijd × kwaliteitsstatus

Identifiers

Conformeer keys

Map bronidentifiers voor product, lijn, machine, order en batch zonder lineage te verliezen.

Tijd

Eventvensters afstemmen

Behandel shifts die over middernacht lopen, late ERP-postings en heropende productieorders expliciet.

Foodcontext

Modelleer batch- en receptuurstatus

Houd receptuurversie, lotgenealogie, quality release en effective-dated-attributen door de tijd heen bruikbaar.

Semantiek

Normaliseer zonder de waarheid te verbergen

Standaardiseer eenheden en reason hierarchies terwijl de oorspronkelijke bronwaarde behouden blijft voor auditability.

Temporele werkelijkheid

Een machine-event kan plaatsvinden voordat de ERP-boeking binnenkomt, een batch kan van kwaliteitsstatus veranderen en een recept- of lijnmapping kan in de tijd wijzigen. Modelleer geldigheidsvensters en laat binnenkomende data bewust in plaats van te joinen op de masterdata van vandaag.

Lakeflow SQL-voorbeeld

Contextualiseer MES-events met lijn- en productieordervensters
SQL · Silver contextualization
CREATE OR REFRESH MATERIALIZED VIEW silver_production_events AS
SELECT
  e.event_ts,
  m.site_id,
  m.line_id,
  e.machine_id,
  o.production_order_id,
  o.product_id,
  o.batch_id,
  e.state_code,
  e.duration_seconds
FROM bronze_mes_events e
LEFT JOIN silver_machine_master m
  ON e.machine_id = m.source_machine_id
LEFT JOIN silver_order_windows o
  ON e.machine_id = o.machine_id
 AND e.event_ts >= o.start_ts
 AND e.event_ts <  o.end_ts;

Gold-laag

Gold zet manufacturingcontext om in herbruikbare dataproducten

Gold geeft BI, SQL en AI een stabiele bedrijfsinterface zonder de bronsysteemlogica bloot te leggen die in Silver is opgelost.

Productieperformance

Beslisklare interface

Eén productieorder × lijn × shift

Gedeclareerde grain

Plan

12.000 kg

Vrijgegeven

10.580 kg

Grootste verlies

45 min materiaalwachttijd

Planattainment 88.2%
output goede output runtime stilstand verliezen

Gold-contract

Stabiele facts. Conformed dimensions.

Consumers werken met businessentiteiten in plaats van ERP-, MES- en WMS-joins opnieuw te reconstrueren.

Feit

production_order_performance

Measures op één gedeclareerde operationele granulariteit.

Dimensies

Product · lijn · shift

Gedeelde attributen voor consistente slicing en filtering.

Foodcontext

Batch · recept · kwaliteit

Stel alleen de context beschikbaar die de beslissing nodig heeft.

Metric Views zitten boven Gold

Gold definieert het herbruikbare dataproduct. Metric Views kunnen gedeelde measures en dimensies toevoegen voor BI en AI.

Power BI SQL AI

Implementatierichtlijnen

Hoe we medallion op Azure Databricks zouden implementeren

Vertaal Bronze, Silver en Gold niet rechtstreeks naar storagefolders en stop daar. Definieer quality contract, ownership, table type en tests bij iedere overgang en kies vervolgens fysieke Unity Catalog-grenzen die bij governance passen in plaats van diagramkleuren.

Land bronhistorie vóór contextualisatie

Lakeflow Connect, Auto Loader, streaming of een ander ingestion pattern moet een herstelbaar Bronze-contract voeden. De connectorkeuze en medallion-laag lossen verschillende problemen op.

Gebruik Unity Catalog als governanceboundary

Geef waar passend voorkeur aan managed tables voor lakehouse-data, gebruik volumes voor landing zones en ongestructureerde files, en map catalogs/schema's naar ownership- en accessbehoeften.

Plaats quality gates op laagovergangen

Bronze controleert volledigheid van ingestie; Silver controleert mappings, eenheden en temporele relaties; Gold reconcilieert gedeclareerde facts en businesstotalen.

Houd logische lagen gescheiden van fysieke layout

Een domeincatalogus met Bronze/Silver/Gold-schema's kan valide zijn; hetzelfde geldt voor environment-/domeincatalogi. Maak niet uitsluitend een catalogus omdat de architectuur drie benoemde lagen heeft.

Catalogusontwerp

Vergelijk twee praktische Unity Catalog-layouts

Domeincatalogus, laagschema's

factory.bronze
factory.silver
factory.gold

Nuttig wanneer domeineigenaarschap de primaire grens vormt.

Environment- / domeincatalogi

prd_factory.bronze
prd_factory.silver
prd_factory.gold

Nuttig wanneer omgevingsisolatie en workspace-binding bepalend zijn voor governance.

Quality gates

Wat moet bij iedere overgang worden getest?

Bronze → Silver

Volledigheid, dubbele source keys, schema drift, expectation failures en ongeldige timestamps.

Binnen Silver

Mapping-dekking, unitnormalisatie, temporale overlap, orphan orders/batches en effective-dated-relaties.

Silver → Gold

Productiehoeveelheden, voorraadbalansen, genealogie en bekende KPI-voorbeelden gereconcilieerd met afgesproken operationele bronnen.

Aanbevolen startpunt

Definieer de verantwoordelijkheid van Silver voordat je over iedere catalogus- en tabelnaam discussieert

Voor voedingsproducenten is het architectuurrisico meestal niet of de map Bronze of Raw heet. Het gaat erom of order, regel, batch, recept, tijd en kwaliteitsstatus één keer worden gereconcilieerd in een governed contextueel model voordat Gold-dataproducten worden gepubliceerd.

FAQ

Veelgestelde vragen

Praktische antwoorden over Databricks medallion-architectuur in de voedingsmiddelenindustrie.

Wat is Databricks medallion-architectuur?

Medallion-architectuur is een gelaagd data-designpatroon waarin datakwaliteit en business readiness verbeteren naarmate data van Bronze naar Silver naar Gold beweegt. Databricks adviseert het patroon, maar het is een logisch ontwerpprincipe en geen verplichte productfeature.

Wat moet de Bronze-laag bevatten in de voedingsmiddelenindustrie?

Bronze moet brongetrouwheid en rebuildability behouden: oorspronkelijke ERP-, MES- en WMS-identifiers, brontimestamps, statuswaarden op bronniveau, ingestiemetadata en voldoende historie om downstream state te reproduceren.

Moet Bronze altijd uit raw files bestaan?

Nee. Bronze is een kwaliteitsverantwoordelijkheid, geen file-formatregel. Brondata kan in Delta-tabellen worden opgeslagen terwijl oorspronkelijke bronsemantiek en ingestionmetadata voor replay, audit en reconciliatie behouden blijven.

Wat hoort in Silver voor de voedingsmiddelenindustrie?

Silver is waar bronrecords operationele context worden. Typische verantwoordelijkheden zijn product- en assetmapping, order-to-line-relaties, batch- en receptcontext, normalisatie van eenheden, kwaliteitsstatus en temporele uitlijning over ERP, MES en WMS.

Waar moeten ERP-, MES- en WMS-joins plaatsvinden?

De meeste herhaalbare cross-source-contextualisatie hoort thuis in Silver. Gold moet die conformed entities gebruiken in plaats van voor ieder dashboard, iedere metric of AI-vraag report-specifieke joins opnieuw te bouwen.

Wat moet Gold bevatten?

Gold moet stabiele business-facing facts, dimensies en dataproducten op gedeclareerde grains ontsluiten, zoals productieorderperformance, yield en giveaway, voorraad en houdbaarheid, of batchtraceability.

Vereisen Bronze, Silver en Gold aparte Unity Catalog-catalogi?

Nee. De medallion-lagen zijn logische kwaliteitsgrenzen. Catalogs en schema's moeten ownership, environment-isolation, access en governance-eisen volgen in plaats van de regel dat iedere laag een eigen catalog nodig heeft.

Waar passen Databricks Metric Views binnen medallion-architectuur?

Metric Views kunnen governed measures en dimensions boven stabiele Gold-dataproducten leveren. Ze vullen het Gold-model aan; ze verwijderen niet de noodzaak om betrouwbare facts, dimensions en granulariteiten eronder te definiëren.

Praktische laag

Review de verantwoordelijkheden van Bronze, Silver en Gold voordat je het platform opschaalt

Breng één ERP/MES/WMS-flow en één terugkerende beslissing in voedingsproductie mee. We brengen in kaart wat brongetrouw moet blijven, wat in de contextuele Silver-laag hoort en wat een stabiel Gold-dataproduct op Azure Databricks moet worden.