Databricks Unity Catalog best practices voor manufacturing
Ontwerp catalogi, workspace-isolatie, permissions en storage zodat governance opschaalt over development, productie en manufacturingdomeinen zonder een permissionsdoolhof te creëren.
Regionale root
West Europe-metastore
dev_factory
Developmentcatalogus
prd_factory
Productiecatalogus
referentie
Gedeelde governed data
platform
Gecontroleerde adminscope
De metastore is regionaal. De meeste dagelijkse isolatie hoort op de catalogus- en workspaceboundary.
Start met regio en gebruik daarna catalogi en workspace bindings.
Staan de workspaces in dezelfde Azure-regio?
Start hierJa
Gebruik de regionale metastore
Scheid dev, staging en productie met catalogi. Bind gevoelige catalogi aan de bedoelde workspace.
Nee
Gebruik één metastore per regio
Deel governed data over regionale metastores in plaats van dezelfde tabel onafhankelijk in meerdere metastores te registreren.
Strengere isolatievereiste
Gebruik aparte accounts of regio's alleen wanneer regulatory-, sovereignty- of organisatorische isolatie niet met catalogi en workspace bindings kan worden gerealiseerd.
Gebruik één metastore per regio en isoleer daarna met catalogi
De metastore is de regionale governance-root. Catalogi zijn de normale boundary voor omgevingen, domeinen en ownership binnen die regio.
Regionale metastore
Koppel workspaces in dezelfde regio aan dezelfde Unity Catalog-metastore.
Catalogusgrenzen
Gebruik catalogi waar environment-, domain- of accessvereisten materieel verschillen.
Workspace-isolatie
Bindings voegen een afdwingbare workspacegrens toe bovenop objectprivileges.
Plaats catalog-grenzen waar ownership of toegang verandert
Een bruikbare catalogusstructuur is voorspelbaar genoeg om gebruikers houvast te geven en grofmazig genoeg om toegangsbeleid beheersbaar te houden.
Catalogus
environment, domain, sensitivity or ownership
prd_factory
Schema
a cohesive subject area inside one catalog
production · inventory · quality
Table / view
a governed data product or access surface
production_run_fact
Volume
non-tabular governed files
quality_certificates
Geef voorkeur aan catalog-level managed storage voor duidelijke isolatie
Managed storage kan worden geconfigureerd op metastore-, catalog- of schemaniveau. Databricks adviseert catalog-level storage als primaire isolatie-eenheid, met schema-level locaties wanneer een smallere grens nodig is.
Dedicated managed storage
Houd Unity Catalog managed data in storage die niet rechtstreeks door andere services of gebruikers wordt benaderd.
Laagst geconfigureerde locatie wint
Schemaopslag overschrijft catalogusopslag, die op zijn beurt een metastore-fallback overschrijft.
Houd DBFS root apart
Hergebruik DBFS-rootstorage niet voor Unity Catalog-managed of externe data.
Gebruik de smalste geconfigureerde managed location.
Fallback
Metastore-storage
Voorkeursgrens
Catalogusstorage
Smalle uitzondering
Schemaopslag
External locations zijn afzonderlijke beveiligbare objecten voor beheerde toegang tot storagepaden die extern beheerd moeten blijven.
Verleen toegang aan groepen op het hoogst zinvolle niveau
Gebruik de privilegehierarchie in plaats van grote lijsten table grants te onderhouden. Houd menselijke consumptie, pipelinewrites en platformadministratie gescheiden.
Accountgroepen
Verleen rechten aan stabiele groepen in plaats van individuele gebruikers.
Navigatie plus actie
Gebruikers hebben normaal gesproken USE CATALOG en USE SCHEMA nodig naast het objectprivilege dat zij gebruiken.
Groepseigenaarschap
Wijs ownership van productiecatalogus en schema toe aan groepen, niet aan individuele personen.
Analisten
USE CATALOG
USE SCHEMA
SELECT
Pipelines
USE CATALOG
USE SCHEMA
MAKEN / WIJZIGEN
Platformadmins
eigenaarschap
BEHEREN
metastore-controls
GRANT USE CATALOG ON CATALOG prd_factory TO `grp_factory_analysts`;
GRANT USE SCHEMA ON SCHEMA prd_factory.gold TO `grp_factory_analysts`;
GRANT SELECT ON SCHEMA prd_factory.gold TO `grp_factory_analysts`;
GRANT USE CATALOG ON CATALOG prd_factory TO `spn_factory_pipeline`;
GRANT USE SCHEMA ON SCHEMA prd_factory.silver TO `spn_factory_pipeline`;
GRANT CREATE TABLE, MODIFY, SELECT
ON SCHEMA prd_factory.silver TO `spn_factory_pipeline`;Dev-workspace
dev_factory
Prod-workspace
prd_factory
Een expliciete catalog grant is niet genoeg vanuit een ongebonden workspace. De workspacebinding moet toegang ook toestaan.
Bind productiecatalogi aan de productieworkspace
Catalogi zijn standaard toegankelijk vanuit alle workspaces die aan de metastore zijn gekoppeld. Workspacebindings wijzigen die default en kunnen environment-isolatie afdwingbaar maken.
Gebruik ISOLATED-mode voor productie
Beperk een productiecatalogus tot de productieworkspace of goedgekeurde set workspaces.
Privileges blijven van toepassing
Bindings bepalen waar een object bereikbaar is. Grants bepalen wie het kan gebruiken.
Bind ook gevoelige infrastructuur
Workspace bindings kunnen ook external locations en storage credentials beperken.
Gebruik governed tags en policies wanneer toegangsregels moeten schalen
Voor herhaalde row filters en column masks over veel tabellen centraliseert Unity Catalog ABAC het beleid en past het automatisch toe op assets die overeenkomen met governed tags.
Governed tags
Gebruik een gecontroleerde taxonomie voor sensitivity-, domain- of lifecycle-attributen.
Centrale policies
Pas masking- of filteringregels toe op catalogus- of schemaniveau in plaats van tabelspecifieke logica te herhalen.
Functiescheiding
Beheer wie policies mag definiëren en wie de tags mag toewijzen die ze activeren.
Classificeer één keer, pas de regel consequent toe.
1 · Classificeren
2 · Beleid
Mask gevoelige kolommen
Beleid gekoppeld op catalog- of schemascope
3 · Afdwingen
Gebruik table-level row filters of masks wanneer de regel echt specifiek voor één tabel is. Gebruik ABAC wanneer hetzelfde beleid consistent over veel assets moet gelden.
Map catalogs naar echt manufacturing-eigenaarschap
Manufacturing-data loopt over ERP-, MES-, WMS-, kwaliteits- en commerciële processen heen. Catalogs moeten weerspiegelen wie eigenaar is van de governed dataproducten in plaats van ieder bronsysteem te spiegelen.
factoryOperations / manufacturing
production · OEE · yield · downtime
supplySupply chain
inventory · batch · shelf life · logistics
commercialSales / finance
orders · customers · margin inputs
referenceData governance
product · site · customer · shared mappings
Vermijd één catalogus per bronapplicatie of één catalogus per tabel. Dat creëert veel security boundaries zonder duidelijker ownership te creëren.
Voer governance uit als terugkerend controlproces
Unity Catalog geeft je control points, lineage en auditdata. Governance blijft alleen betrouwbaar wanneer teams ownership, toegang en change impact regelmatig reviewen.
Verkennen
lineage · tags · usage
Beoordeling
eigenaren · groepen · privileged access
Wijziging
impact · bindings · policies
Audit
systeemtabellen · bewijs
Lineage vóór wijziging
Controleer downstream tabellen, jobs en dashboards voordat je gedeelde productie-assets wijzigt.
Systeemtabellen voor bewijs
Gebruik audit- en lineage-system tables voor account-level operationele zichtbaarheid en terugkerende reviews.
Certificering en deprecation
Markeer betrouwbare assets duidelijk en retire obsolete dataproducten in plaats van concurrerende versies actief te laten.
Titan gebruikt Unity Catalog als governancelaag rond manufacturing-dataproducten
We houden bronconnectiviteit, eigenaarschap van dataproducten en toegangscontroles expliciet. Unity Catalog biedt vervolgens het gezamenlijke governancemodel over Databricks-workspaces en consumers heen.
Manufacturing-dataproducten
Productie, voorraad, kwaliteit, levering en referencedata met duidelijk eigenaarschap en granulariteit.
Govern het platform
Pas catalogi, storagegrenzen, workspacebindings, groepspermissions en governancemetadata toe waar ze thuishoren.
Hergebruik data met controle
Stel goedgekeurde manufacturingdata beschikbaar aan engineering, BI, analytics en Ask Titan zonder het platform-governancemodel te omzeilen.
Houd governancegrenzen beperkt genoeg om begrijpelijk te blijven
Unity Catalog wordt moeilijk beheersbaar wanneer iedere workspace, bron of uitzondering weer een nieuw ownership- of permissiepatroon creëert.
Vermijd
A separate metastore for every workspace
Betere default
Use one metastore per region and catalogs for normal isolation
Vermijd
Production catalog visible from development workspaces
Betere default
Bind production catalogs in ISOLATED mode
Vermijd
Direct grants to individual users
Betere default
Grant to stable account groups
Vermijd
One catalog for every source application
Betere default
Align catalogs with environment, domain and ownership
Vermijd
Managed storage that can be accessed outside Unity Catalog
Betere default
Use dedicated storage controlled through Unity Catalog
Vermijd
Repeated table-specific masks across the estate
Betere default
Use governed tags and ABAC for policies that need to scale
Veelgestelde vragen
Praktische antwoorden over Unity Catalog-architectuur en governance op Azure Databricks.
Hoeveel Unity Catalog-metastores moet ik aanmaken?
Gebruik binnen één Azure Databricks-account één metastore per Azure-regio. Koppel workspaces in dezelfde regio aan die metastore en gebruik catalogs en workspace bindings voor normale omgevings- en domeinisolatie.
Moeten development en production aparte metastores gebruiken?
Meestal niet wanneer de workspaces in dezelfde regio staan. Scheid development en production met catalogs, groepsrechten en workspace-bindings. Gebruik alleen aparte accounts of regio's wanneer strengere regelgeving, datasoevereiniteit of organisatorische isolatie dat vereist.
Wat is de belangrijkste isolatiegrens in Unity Catalog?
Catalogi zijn de primaire data-isolatie-eenheid in het gebruikelijke Unity Catalog-governancemodel. Schema's organiseren objecten binnen een catalogus, terwijl workspacebindings een catalogus kunnen beperken tot specifieke workspaces.
Waar moet Unity Catalog managed storage worden geconfigureerd?
Managed storage op catalogusniveau is de voorkeursgrens voor primaire isolatie. Managed storage op schemaniveau kan deze overrulen waar een smallere grens nodig is. Managed storage op metastore-niveau is optioneel en kan als fallback dienen.
Moeten gebruikers directe grants op tabellen krijgen?
Geef voorkeur aan accountgroepen en grant privileges op het hoogste zinvolle niveau in de Unity Catalog-hiërarchie. Directe user grants en object-specifieke uitzonderingen moeten bewust en beperkt blijven.
Wanneer moet ik Unity Catalog ABAC gebruiken?
Gebruik attribute-based access control wanneer hetzelfde row-filtering- of column-maskingbeleid consistent over veel getagde assets moet gelden. Table-level filters en masks blijven nuttig voor regels die echt specifiek voor één tabel zijn.
Zet Unity Catalog om in een operationeel governancemodel
Start met de regionale metastore, catalog boundaries en isolatie van de productieworkspace. Maak daarna storage, group access en operationele review onderdeel van hetzelfde ontwerp.