Aan de slag¶

Vereisten¶

Vereiste	Versie	Opmerkingen
Python	`>=3.10, <3.14`
Java	8, 11 of 17	Alleen vereist voor lokale PySpark; wordt geleverd door Fabric / Databricks
PySpark	`>=3.4`	Wordt geleverd door Fabric / Databricks; lokaal installeren voor dev
Delta Lake	`>=3.0`	Wordt geleverd door Fabric / Databricks; lokaal installeren via de `[local]`-extra

PySpark lokaal installeren¶

PySpark vereist eerst een Java-runtime, en daarna zichzelf:

# Linux (Ubuntu / Debian)
sudo apt-get update && sudo apt-get install -y openjdk-17-jre-headless
java -version
pip install "pyspark>=3.4,<4.0" "delta-spark>=3.0"

Installeer op macOS OpenJDK via Homebrew (brew install openjdk@17) en laat JAVA_HOME daarnaar wijzen; installeer op Windows OpenJDK 17 vanaf adoptium.net en, als je naar het lokale bestandssysteem schrijft, ook winutils.exe voor je Hadoop-versie vanaf github.com/cdarlint/winutils.

Installatie¶

# From the internal Azure Artifacts feed (recommended for pipeline use)
pip install Scamander-MDIF

# With platform-specific extras
pip install "Scamander-MDIF[fabric]"
pip install "Scamander-MDIF[databricks]"

# AES-256-GCM encryption + Faker synthetic data for anonymization
pip install "Scamander-MDIF[anonymization]"

# Local development — PySpark, Delta Lake, anonymization, test tooling
pip install "Scamander-MDIF[dev]"

In een Databricks- of Fabric-notebook:

%pip install Scamander-MDIF

Platforminstellingen¶

Microsoft Fabric: voordat je een notebook draait:

Maak een Lakehouse aan met schemas enabled (niet de standaard) — dit is de logging-bestemming.
Koppel een standaard Lakehouse aan het notebook.

Het framework valideert beide vereisten bij het opstarten en werpt een beschrijvende PlatformValidationException op als een van beide ontbreekt.

Databricks: er is geen aanvullende configuratie nodig, behalve een draaiend cluster met Unity Catalog ingeschakeld.