Data engineer-traject

Dit hoofdstuk volgt een data engineer in Security Center: van het dashboard tot data publiceren, toegang aanvragen en beslissen over aanvragen van andere teams. De begrippen staan in Begrippen. Hoe je in een notebook tabellen maakt en data leest staat in Notebooks en SQL.

Het dashboard

Open https://<customer>.security.datafoundation.eu en log in (zie Inleiding). Je komt op het Dashboard:

• Mijn teams: de teams waar je lid van bent. Kies een team om de leden en de rechten te zien.

• Mijn producten: de dataproducten die je teams bezitten.

• Permissie aanvragen: aanvragen van andere teams voor toegang tot jouw producten, die op jouw besluit wachten. Zie Een aanvraag beoordelen.

• Mijn permissies: de toegang die je teams hebben tot producten van anderen.

Het menu met de drie puntjes rechtsboven biedt Nieuwe catalogus en Team aanmaken:

De catalogus doorzoeken

Kies Catalog in de bovenbalk. De boom links toont de catalogi; open er een om de schema’s en tabellen te zien. Naast een onderdeel zie je wat je ermee mag: owner, writer, reader of filtered. Iedereen kan de platformcatalogus main gebruiken.

• Typ in Filter op naam om de boom te beperken. Gebruik de pijltjestoetsen om door de boom te bewegen en Enter om een onderdeel te openen.

• Kies een onderdeel om de details te zien: het pad, het eigenaarsteam (Product), het formaat (bijvoorbeeld Delta, met het aantal kolommen) en de regel Je hebt owner via toegang op finance, die zegt wat je mag en waar dat vandaan komt.

• Het tabblad Toegang toont het Toegangsspoor: waar toegang wordt gegeven langs het pad van de catalogus naar het onderdeel, en Wie heeft toegang: elk team en elke rol, waar het vandaan komt (Herkomst) en wie het heeft goedgekeurd.

• Het tabblad Kolommen toont de kolommen met hun typen.

• Het tabblad Beheer is er alleen voor eigenaren, zie Je dataproduct beheren.

Een dataproduct aanmaken

Een dataproduct begint als een catalogus die je team bezit. Kies Nieuwe catalogus (op het dashboard of in de catalogusboom):

1. Vul de Catalogus in (de naam, bijvoorbeeld finance) en kies de Eigenaar (team). Een naam bestaat uit kleine letters, cijfers en _ en begint met een letter; hoofdletters die je typt worden kleine letters, omdat Spark en Trino altijd kleine letters gebruiken. Toont het venster ook Soort, kies dan Productcatalogus, zie Begrippen. Voeg een Contact, een Classificatie en een Omschrijving toe en vertel de beheerder in Reden van aanvraag waarom je het nodig hebt. Laat Product naam leeg om de naam van de catalogus te gebruiken.

   

2. Kies Opslaan. Met het standaardbeleid staat in het venster dat dit een aanvraag wordt: een platformbeheerder keurt het goed voordat het wordt aangemaakt. Je ziet de melding Aanvraag ingediend.

   

3. Zodra de beheerder het heeft goedgekeurd (zie Beheerderstraject) verschijnt de catalogus in de boom met het label owner.

   

De schema’s en tabellen in de catalogus maak je met Spark in een notebook, zie Notebooks en SQL. Ze verschijnen in de boom en horen bij jouw team.

Toegang tot data aanvragen

Als je een tabel, schema of catalogus kiest die je nog niet mag gebruiken, staat er Je hebt geen toegang en biedt de pagina Toegang aanvragen.

1. Kies Toegang aanvragen. In het venster staat in woorden waar je om vraagt, bijvoorbeeld alleen deze tabel. Kies de knop eronder als je het hele schema wilt aanvragen, inclusief alles wat later wordt toegevoegd.

   

2. Kies het Team dat de aanvraag doet en de Role die je nodig hebt (Reader, Writer of een eigen rol van de eigenaar, bijvoorbeeld regio_noord). Geef een Reden van aanvraag en kies Opslaan.

3. Je ziet Aanvraag verzonden. Het eigenaarsteam ziet je aanvraag en beslist. Tot die tijd verandert er niets voor jou.

   

Een aanvraag beoordelen

Aanvragen voor jouw producten staan op twee plaatsen: op het dashboard onder Permissie aanvragen, en op het tabblad Beheer van het product (het getal op het tabblad geeft aan hoeveel er wachten).

1. Open het product en kies het tabblad Beheer. Openstaande aanvragen toont het team, de rol, het bereik (Bereik), de reden (Opmerking) en het contact van de aanvrager.

   

2. Kies Goedkeuren of Afwijzen. Een venster toont de aanvraag nog eens; geef een reden en kies Opslaan. De aanvrager ziet je reden.

   

3. Op het tabblad Toegang staat het team nu onder Wie heeft toegang, met jouw naam als goedkeurder. Met Intrekken neem je de toegang weer af.

   

Afgewezen en ingetrokken aanvragen blijven zichtbaar onder Afgewezen en ingetrokken, met de datum en de reden.

Je dataproduct beheren

Als eigenaar zie je het tabblad Beheer bij je catalogi, schema’s en tabellen. Naast de aanvragen bevat het de rollen, de rijfilters en de kolommaskers van het product.

Een eigen rol

Naast reader en writer kun je eigen rollen maken. Kies Rol toevoegen, vul een Rolnaam in (kleine letters, beginnend met een letter, bijvoorbeeld regio_noord) en kies Opslaan. Een nieuwe rol hoort bij het hele product, niet bij één tabel. De rol is meteen beschikbaar als rol om aan te vragen en als rol waaraan je een filter of masker geeft.

Een rijfilter

Een rijfilter verbergt rijen. Kies Rijfilter toevoegen en vul in:

• Role: de rol waarvoor de regel geldt.

• Kolom: de kolom die getest wordt.

• Operator en Waarde: bijvoorbeeld = en noord. Een rij is zichtbaar als alle voorwaarden van de regel kloppen; met Nog een voorwaarde toevoegen voeg je er een toe. Meerdere regels voor dezelfde rol worden met OR gecombineerd.

Een kolommasker

Een kolommasker verbergt de waarden van een kolom. Kies Kolommasker toevoegen, kies de Role, de Kolomnaam en het Type masker. Het venster toont een voorbeeld van het resultaat:

Type masker	Effect
full_redact	Vervangt de waarde volledig.
hash	Vervangt de waarde door een eenrichtings-hash.
partial_mask	Maskeert een deel en laat de rest zichtbaar, bijvoorbeeld alleen de laatste vier tekens.
null	Geeft een lege waarde terug (NULL).

Onder Rijfilters en kolommaskers zie je alle regels van de tabel. Met Verwijder haal je een regel weg.

Waarschuwing

Een team met een rol met een filter of masker leest de tabel via Trino, met het filter en het masker toegepast. Het team kan de tabel lezen, ook in een notebook, maar er niet naar schrijven. Geef een team een rol writer als het de data moet kunnen wijzigen.

Data delen met een ander team

Je hoeft niet op een aanvraag te wachten: als eigenaar kun je een ander team zelf een rol geven. Kies Delen bij een catalogus, schema of tabel, kies het Team, de Role en een Contact, geef een reden en kies Opslaan. Om de toegang weer af te nemen kies je Intrekken naast het team op het tabblad Toegang.