Zoektermen

curl -H "Authorization: Bearer apib_live_JOUW_SLEUTEL" \
  "https://app.apiboard.nl/api/v1/google-search-console/zoektermen"

# Let op: gepagineerd. Herhaal met ?cursor=<next_cursor> tot next_cursor null is.
# Deze tabel ondersteunt geen incrementeel ophalen: haal bij elke run de volledige tabel op.

import json
import os
import requests

TOKEN = "apib_live_JOUW_SLEUTEL"
URL = "https://app.apiboard.nl/api/v1/google-search-console/zoektermen"
STAAT_BESTAND = "google-search-console_zoektermen_staat.json"  # bewaart rijen + watermark tussen runs

staat = {"watermark": None, "rijen": {}}
if os.path.exists(STAAT_BESTAND):
    with open(STAAT_BESTAND) as f:
        staat = json.load(f)

basis_params = {}
# Alles ophalen: elke run haalt de volledige tabel opnieuw op.
staat["rijen"] = {}

cursor = None
onvolledig = set()
while True:
    params = dict(basis_params)
    if cursor:
        params["cursor"] = cursor
    resp = requests.get(URL, params=params, headers={"Authorization": f"Bearer {TOKEN}"})
    resp.raise_for_status()
    body = resp.json()
    for koppeling in body["connections"]:
        if not koppeling["backfill_complete"]:
            onvolledig.add(koppeling["label"])
    for rij in body["data"]:
        staat["rijen"][rij["id"]] = rij  # dedupliceren op id, laatste versie wint
    cursor = body["next_cursor"]
    if cursor is None:
        staat["watermark"] = body["sync_watermark"]
        break

# Rijen die bij de bron verwijderd zijn, uit de lokale set halen.
staat["rijen"] = {i: r for i, r in staat["rijen"].items() if not r.get("bron_verwijderd_op")}

with open(STAAT_BESTAND, "w") as f:
    json.dump(staat, f)

for label in sorted(onvolledig):
    print(f"Waarschuwing: {label} is nog niet volledig gesynchroniseerd; de data kan onvolledig zijn.")
print(f"{len(staat['rijen'])} rijen.")

let
    Basis = "https://app.apiboard.nl",
    Pad = "/api/v1/google-search-console/zoektermen",
    Token = "apib_live_JOUW_SLEUTEL",
    Filters = [],

    HaalPaginaOp = (cursor as nullable text) =>
        Json.Document(Web.Contents(Basis, [
            RelativePath = Pad,
            Query = if cursor = null then Filters else Record.AddField(Filters, "cursor", cursor),
            Headers = [Authorization = "Bearer " & Token]
        ])),

    // Volg next_cursor tot die null is; de pagina met next_cursor = null telt ook mee.
    Paginas = List.Generate(
        () => HaalPaginaOp(null),
        each _ <> null,
        each if [next_cursor] = null then null else HaalPaginaOp([next_cursor]),
        each [data]
    ),

    AlleRijen = List.Combine(Paginas),
    Tabel = if List.IsEmpty(AlleRijen)
        then #table({"id", "synced_at"}, {})
        else Table.FromRecords(AlleRijen, null, MissingField.UseNull),
    // Dedupliceer op id (een rij die tijdens de refresh wijzigt, kan twee keer terugkomen):
    // eerst de nieuwste versie bovenaan, dan houdt Distinct die. Verwijder daarna rijen
    // die bij de bron verwijderd zijn.
    NieuwsteEerst = Table.Buffer(Table.Sort(Tabel, {{"synced_at", Order.Descending}})),
    ZonderDubbel = Table.Distinct(NieuwsteEerst, {"id"}),
    ZonderVerwijderd = Table.SelectRows(ZonderDubbel, each Record.FieldOrDefault(_, "bron_verwijderd_op", null) = null)
in
    ZonderVerwijderd

// Let op: het token staat hierboven in de M-query, en dus in het .pbix-bestand zelf -
// wees voorzichtig met het delen van dat bestand.
// Let op: staat een administratie in "connections" op backfill_complete = false, dan is
// die nog niet volledig gesynchroniseerd - de data hierboven kan dan onvolledig zijn.