jsonscraper
Markten
Terug naar het journaal

Hoe je TikTok-zoekopdrachten omzet in een wekelijks wijzigingslogboek

Een Python-script bewaart nieuw gevonden video’s, vergelijkt ze op ID en maakt een CSV-bestand voor regelmatige themacontrole

Redactioneel beleid Een fout melden

Een wekelijks rapport over TikTok-zoekopdrachten is nuttig wanneer het laat zien welke video’s sinds de vorige uitvoering aan een nieuwe zoekresultatenreeks zijn toegevoegd. Daarvoor hoef je alleen de ID’s van eerder aangetroffen video’s op te slaan en nieuwe resultaten aan een CSV-bestand toe te voegen. Hieronder staat een reproduceerbaar Python-script met de TikTok Scraper API: het zoekt video’s op trefwoord, verwerkt beide gedocumenteerde antwoordformaten en houdt lokaal een ID-database bij.

De taak: nieuwe berichten herkennen zonder alle resultaten opnieuw te bekijken

Een ondersteuningsteam, marktonderzoeker of contentanalist kan regelmatig een selectie openbare video’s over een product nodig hebben. Als je telkens de volledige resultaten exporteert, maken terugkerende video’s het beoordelen lastiger en raken nieuwe berichten tussen de al verwerkte resultaten uit het zicht. Een ID-logboek maakt de uitkomst van elke uitvoering vergelijkbaar: de CSV bevat alleen video’s die nieuw zijn voor dit proces, met de belangrijkste velden uit het antwoord.

Zo’n logboek beantwoordt een beperkte maar praktische vraag: welke items kwamen voor in het antwoord van de huidige uitvoering en ontbraken in de opgeslagen ID-set? Dat is handig voor een wachtrij voor handmatige beoordeling en om gegevens naar een spreadsheet of een volgende analyse door te sturen. De selectie geeft de API-resultaten voor de opgegeven zoekterm weer; op zichzelf beschrijft ze niet alle TikTok-berichten.

Wat je nodig hebt

  • Python 3.8 of hoger.
  • Toegang tot de TikTok Scraper API en een licentiesleutel.
  • Een zoekterm die je zonder betekenisverandering kunt herhalen, bijvoorbeeld een productnaam of een specifieke woordgroep.

Sla de sleutel op in de omgevingsvariabele JSONSCRAPER_TIKTOK_LICENSE_KEY, niet in het scriptbestand. In het onderstaande voorbeeld wordt de sleutel volgens het API-schema als de parameter license_key meegestuurd in het verzoek. Neem de sleutel niet op in uitvoeringslogboeken.

export JSONSCRAPER_TIKTOK_LICENSE_KEY="uw_sleutel"
python -m pip install requests

In Windows PowerShell kun je de variabele voor de huidige sessie als volgt instellen: $env:JSONSCRAPER_TIKTOK_LICENSE_KEY="uw_sleutel". Zet echte geheimen niet in Git of in een gedeeld CSV-bestand.

Integratie: de zoekopdracht uitvoeren en JSON normaliseren

Voor het zoeken naar video’s beschrijft de documentatie de GET-route /searchVideo met de verplichte parameter keyword. Je kunt in het verzoek ook count, een regio, een sortering, een tijdsfilter en een cursor voor het doorlopen van resultaten opgeven. Dit minimale voorbeeld gebruikt alleen een trefwoord, het aantal op te vragen items en de regio Verenigde Staten. De TikTok API-routelijst vermeldt de exacte parameternamen.

De structuur van het zoekantwoord vraagt om extra aandacht: de array aweme_list kan leeg zijn en video-items kunnen in search_item_list staan, met de gegevens genest onder aweme_info. Daarom controleert de code beide paden, voegt de items vervolgens samen en verwijdert duplicaten op basis van aweme_id. Zo voorkom je dat correct verwerkte JSON per ongeluk een leeg rapport oplevert.

import csv
import json
import os
from pathlib import Path
from datetime import datetime, timezone

import requests

BASE_URL = "https://tiktok.evelode.com/searchVideo"
KEYWORD = "productnaam"
REGION = "US"
COUNT = 30
STATE_FILE = Path("seen_video_ids.json")
OUTPUT_FILE = Path("new_tiktok_videos.csv")

license_key = os.environ.get("JSONSCRAPER_TIKTOK_LICENSE_KEY")
if not license_key:
    raise RuntimeError("Stel JSONSCRAPER_TIKTOK_LICENSE_KEY in")

response = requests.get(
    BASE_URL,
    params={
        "license_key": license_key,
        "keyword": KEYWORD,
        "count": COUNT,
        "region": REGION,
    },
    timeout=60,
)
response.raise_for_status()
data = response.json()

# Het voorbeeldantwoord bevat een externe status en een genest tiktok-object.
if "status" in data and data["status"] != "ok":
    raise RuntimeError("De API gaf een andere status dan ok terug")

tiktok = data.get("tiktok") or {}
items = list(tiktok.get("aweme_list") or [])
for entry in tiktok.get("search_item_list") or []:
    info = entry.get("aweme_info")
    if isinstance(info, dict):
        items.append(info)

# Unieke items uit het huidige antwoord, met behoud van de volgorde.
current = {}
for item in items:
    video_id = item.get("aweme_id")
    if video_id:
        current[str(video_id)] = item

if STATE_FILE.exists():
    seen = set(json.loads(STATE_FILE.read_text(encoding="utf-8")))
else:
    seen = set()

new_items = [(video_id, item) for video_id, item in current.items()
             if video_id not in seen]
run_time = datetime.now(timezone.utc).isoformat()

fields = ["collected_at_utc", "query", "aweme_id", "created_at",
          "author", "description", "share_url", "play_count",
          "digg_count", "comment_count", "share_count"]
write_header = not OUTPUT_FILE.exists() or OUTPUT_FILE.stat().st_size == 0
with OUTPUT_FILE.open("a", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=fields)
    if write_header:
        writer.writeheader()
    for video_id, item in new_items:
        author = item.get("author") or {}
        stats = item.get("statistics") or {}
        writer.writerow({
            "collected_at_utc": run_time,
            "query": KEYWORD,
            "aweme_id": video_id,
            "created_at": item.get("create_time"),
            "author": author.get("unique_id") or author.get("nickname"),
            "description": item.get("desc"),
            "share_url": item.get("share_url"),
            "play_count": stats.get("play_count"),
            "digg_count": stats.get("digg_count"),
            "comment_count": stats.get("comment_count"),
            "share_count": stats.get("share_count"),
        })

seen.update(current.keys())
STATE_FILE.write_text(json.dumps(sorted(seen)), encoding="utf-8")
print(f"In antwoord: {len(current)} unieke video's; nieuw: {len(new_items)}")

Als waarden ontbreken in de JSON, schrijft het script lege cellen weg: velden en statistieken kunnen bij afzonderlijke items ontbreken. De code vervangt ontbrekende waarden niet door nul en behandelt nul niet als ontbrekende gegevens. Het verzameltijdstip staat los van de publicatietijd, die de API teruggeeft in het veld create_time.

Hoe de wijzigingscontrole werkt

  1. Het verzoek haalt een pagina met zoekresultaten op voor het opgegeven trefwoord.
  2. De normalisatiestap verzamelt items uit aweme_list en search_item_list[].aweme_info.
  3. Het script verwijdert duplicaten binnen het antwoord op basis van de video-ID.
  4. De ID’s worden vergeleken met het lokale JSON-logboek.
  5. Nieuwe ID’s worden aan de CSV toegevoegd; daarna wordt de volledige verzameling aangetroffen ID’s opgeslagen voor de volgende uitvoering.
Artikel: Hoe je TikTok-zoekopdrachten omzet in een wekelijks wijzigingslogboek
Samenvatting: Stel een herhaalbare verzameling van TikTok-video’s op basis van een zoekterm in: verwerk beide API-antwoordformaten, verwijder duplicaten en bewaar alleen nieuwe resultaten voor het weekrapport.
Beeldrol: ondersteunende illustratie 2 — een ander specifiek aspect
Sectie: Hoe de wijzigingscontrole werkt
Visueel onderwerp: Heldere infographic in het Russisch met vijf geverifieerde workflowstappen en labels: Verzoek / Twee antwoordarrays / Duplicaten verwijderen op basis van awe
Het schema toont de route van het zoekantwoord naar de CSV met nieuwe items en het JSON-logboek voor de volgende uitvoering.© jsonscraper · AI-gegenereerde illustratie
Artikel: Hoe je TikTok-zoekopdrachten omzet in een wekelijks wijzigingslogboek
Samenvatting: Stel een herhaalbare verzameling van TikTok-video’s op basis van een zoekterm in: verwerk beide API-antwoordformaten, verwijder duplicaten en bewaar alleen nieuwe resultaten voor het weekrapport.
Beeldrol: omslag — het centrale idee
Sectie: Hoe de wijzigingscontrole werkt
Visueel onderwerp: Editorial stilleven van een wekelijkse gegevenscontrole: gestapelde transparante kaarten die openbare zoekresultaten voor korte video’s voorstellen, met één nieuw verschenen kaart naast een compac
ID’s die nieuw zijn voor het lokale logboek worden gescheiden van video’s die opnieuw zijn gevonden.© jsonscraper · gemaakt met AI

Een visualisatie van dit proces is nuttig wanneer je het script aan collega’s overdraagt: de CSV is een logboek met toevoegingen en de JSON bevat de status voor deduplicatie. Je kunt beide apart van de code opslaan en samen back-uppen. Vervang bij een team- of clouduitvoering het lokale JSON-bestand door een geschikte permanente opslag en zorg voor een atomaire statusupdate, zodat parallelle uitvoeringen elkaar niet overschrijven.

Opnieuw uitvoeren en paginering

Plan terugkerende uitvoeringen met de taakplanner van het besturingssysteem, een CI-taak of een automatiseringsworkflow. Verander het trefwoord niet zonder de versie ervan vast te leggen: verschillende zoektermen leveren verschillende selecties op, en die in één logboek combineren maakt de interpretatie lastiger. Het getoonde script gebruikt voor de eenvoud één zoekterm; je kunt een lijst met zoektermen in een lus verwerken en voor elke rij het veld query opslaan.

De API ondersteunt cursor om zoekresultaten verder te doorlopen. Geef bij paginering de cursor uit het vorige antwoord door, bewaar deze als een ondoorzichtige waarde en stop met doorlopen wanneer verdere pagina’s niet nodig zijn. De limiet count bepaalt hoeveel items worden opgevraagd, maar het werkelijke aantal items moet je uit het antwoord afleiden. Ook meerdere pagina’s blijven opgehaalde zoekresultaten; ze garanderen geen volledige dekking van het platform.

Dit scenario bevat bewust geen automatische tekstclassificatie of conclusie dat er sprake is van een ‘trend’. De CSV maakt het makkelijk om nieuwe gevonden items te selecteren; een analist kan ze daarna op onderwerp, intentie of vraagtype labelen en de voorbeelden handmatig controleren. Als je een taalmodel inzet, geef het dan alleen de benodigde tekstvelden en vraag om categorieën terug te sturen samen met de oorspronkelijke ID, zodat het resultaat controleerbaar blijft en aan het item kan worden gekoppeld.

Controles en veelvoorkomende fouten

  • HTTP-fout. raise_for_status() stopt de uitvoering bij een HTTP-statuscode buiten het succesvolle bereik. Controleer of de API bereikbaar is, of de parameters kloppen en of het account toegang heeft voordat je het statusbestand bijwerkt.
  • API-status is niet ok. Het script stopt vóór het wegschrijven van resultaten als het antwoord een veld status op het hoogste niveau bevat met een andere waarde. Zo blijft het vorige logboek behouden en wordt een foutief antwoord niet aangezien voor een lege resultatenlijst.
  • Lege lijst in aweme_list. Controleer ook search_item_list; de code houdt rekening met beide structuren.
  • Video’s keren terug in opeenvolgende uitvoeringen. Dat is te verwachten bij overlappende pagina’s met zoekresultaten: ze worden niet opnieuw in het rapport opgenomen als hun ID al is opgeslagen.
  • Statistiek ontbreekt. De cel blijft leeg. Houd bij berekeningen ontbrekende waarden gescheiden van werkelijke nullen.
  • Status verloren. Het script beschouwt alle teruggegeven ID’s als nieuw. Maak samen met de CSV een back-up van seen_video_ids.json of gebruik een permanente database.

Bewaar bij automatisering diagnostische gegevens zonder de sleutel: uitvoeringstijd, HTTP-statuscode, API-status, aantal verwerkte items en aantal nieuwe ID’s. Zo kun je onderscheid maken tussen geen nieuwe video’s en een mislukte aanvraag. Je kunt het volledige oorspronkelijke antwoord apart archiveren als latere controle van het schema nodig is; beperk de toegang en bewaartermijn tot wat het team nodig heeft.

Resultaat

Na de uitvoering heb je een CSV met video-ID’s die nieuw zijn voor het logboek, beschrijvingen, links en beschikbare openbare velden, plus JSON-status om ze met de volgende uitvoering te vergelijken. Dat resultaat is geschikt als compacte invoerwachtrij voor een ondersteuningsteam, analisten of een contentteam. Je kunt de API-beschrijving en toegangsopties bekijken op de pagina van de TikTok Scraper API; controleer de exacte zoekparameters in de officiële routelijst.

Mensen

Er zijn nog geen mensen vermeld voor dit artikel.

Blijf lezenHerhaalde productvragen op TikTok opsporen
Lees het volgende artikel

Maak van wat je leest een werkende integratie

Ontdek de socialdata-API's van jsonscraper, test aanvragen en bouw je volgende workflow.

API's verkennen