jsonscraper
Märkte
Zurück zum Journal

TikTok-Suche in ein wöchentliches Änderungsprotokoll verwandeln

Ein Python-Skript speichert neu gefundene Videos, vergleicht ihre IDs und erstellt eine CSV-Datei für die regelmäßige Themenprüfung

Redaktionsrichtlinie Fehler melden

Ein wöchentlicher Bericht zur TikTok-Suche ist nützlich, wenn er zeigt, welche Videos seit dem letzten Durchlauf in der nächsten Abfrage aufgetaucht sind. Dazu genügt es, die IDs bereits erfasster Clips zu speichern und neue Ergebnisse einer CSV-Datei hinzuzufügen. Im Folgenden wird ein reproduzierbares Python-Skript mit der TikTok Scraper API vorgestellt: Es fragt Videos anhand eines Suchbegriffs ab, verarbeitet beide dokumentierten Antwortformate und führt eine lokale ID-Datenbank.

Ziel: neue Einträge erkennen, statt die gesamte Trefferliste erneut durchzugehen

Ein Supportteam, ein Marktforscher oder ein Content-Analyst kann regelmäßig eine Auswahl öffentlicher Videos zu einer Produktanfrage benötigen. Wird jedes Mal das vollständige Ergebnis exportiert, erschweren wiederkehrende Clips die Sichtung, und neue Einträge gehen zwischen bereits bearbeiteten unter. Ein ID-Protokoll macht die Ergebnisse der einzelnen Durchläufe vergleichbar: Die CSV enthält nur Videos, die für diesen Prozess neu sind, sowie die wichtigsten Felder aus der Antwort.

Das Protokoll beantwortet eine begrenzte, aber praktische Frage: Welche Elemente kamen in der Antwort des aktuellen Durchlaufs vor und fehlten im gespeicherten ID-Bestand? Das ist für eine manuelle Prüfliste und zur Übergabe der Daten in eine Tabelle oder eine anschließende Analyse hilfreich. Die Auswahl bildet die API-Ergebnisse für die angegebene Anfrage ab; sie beschreibt nicht alle TikTok-Veröffentlichungen.

Vorbereitung

  • Python 3.8 oder neuer.
  • Zugang zur TikTok Scraper API und ein Lizenzschlüssel.
  • Eine Anfrage, die sich inhaltlich unverändert wiederholen lässt, etwa ein Produktname oder eine konkrete Formulierung.

Speichern Sie den Schlüssel in der Umgebungsvariable JSONSCRAPER_TIKTOK_LICENSE_KEY, nicht in der Skriptdatei. Im folgenden Beispiel wird der Schlüssel gemäß dem API-Schema als Anforderungsparameter license_key übergeben. Geben Sie ihn nicht im Ausführungsprotokoll aus.

export JSONSCRAPER_TIKTOK_LICENSE_KEY="ihr_schlüssel"
python -m pip install requests

Unter Windows PowerShell lässt sich die Variable für die aktuelle Sitzung so festlegen: $env:JSONSCRAPER_TIKTOK_LICENSE_KEY="ihr_schlüssel". Fügen Sie keine echten Geheimnisse zu Git oder einer gemeinsam genutzten CSV-Datei hinzu.

Integration: die Suche abfragen und JSON normalisieren

Für die Videosuche beschreibt die Dokumentation die GET-Route /searchVideo mit dem erforderlichen Parameter keyword. In der Anfrage können außerdem count, Region, Sortierung, Zeitfilter und ein Cursor zum Durchblättern der Ergebnisse angegeben werden. Dieses Minimalbeispiel verwendet nur ein Suchwort, die Anzahl der abgefragten Elemente und die Region USA. Der Routenleitfaden für die TikTok-API führt die genauen Parameternamen auf.

Die Struktur der Suchantwort erfordert besondere Aufmerksamkeit: Das Array aweme_list kann leer sein, während Videoelemente unter search_item_list mit den Daten in aweme_info vorliegen. Deshalb prüft der Code beide Pfade, führt die Elemente anschließend zusammen und entfernt anhand von aweme_id Duplikate. So wird verhindert, dass korrekt geparstes JSON fälschlich zu einem leeren Bericht wird.

import csv
import json
import os
from pathlib import Path
from datetime import datetime, timezone

import requests

BASE_URL = "https://tiktok.evelode.com/searchVideo"
KEYWORD = "Produktname"
REGION = "US"
COUNT = 30
STATE_FILE = Path("seen_video_ids.json")
OUTPUT_FILE = Path("new_tiktok_videos.csv")

license_key = os.environ.get("JSONSCRAPER_TIKTOK_LICENSE_KEY")
if not license_key:
    raise RuntimeError("JSONSCRAPER_TIKTOK_LICENSE_KEY festlegen")

response = requests.get(
    BASE_URL,
    params={
        "license_key": license_key,
        "keyword": KEYWORD,
        "count": COUNT,
        "region": REGION,
    },
    timeout=60,
)
response.raise_for_status()
data = response.json()

# Das Antwortbeispiel enthält status auf oberster Ebene und das verschachtelte Objekt tiktok.
if "status" in data and data["status"] != "ok":
    raise RuntimeError("Die API hat einen anderen Status als ok zurückgegeben")

tiktok = data.get("tiktok") or {}
items = list(tiktok.get("aweme_list") or [])
for entry in tiktok.get("search_item_list") or []:
    info = entry.get("aweme_info")
    if isinstance(info, dict):
        items.append(info)

# Eindeutige Elemente der aktuellen Antwort, Reihenfolge beibehalten.
current = {}
for item in items:
    video_id = item.get("aweme_id")
    if video_id:
        current[str(video_id)] = item

if STATE_FILE.exists():
    seen = set(json.loads(STATE_FILE.read_text(encoding="utf-8")))
else:
    seen = set()

new_items = [(video_id, item) for video_id, item in current.items()
             if video_id not in seen]
run_time = datetime.now(timezone.utc).isoformat()

fields = ["collected_at_utc", "query", "aweme_id", "created_at",
          "author", "description", "share_url", "play_count",
          "digg_count", "comment_count", "share_count"]
write_header = not OUTPUT_FILE.exists() or OUTPUT_FILE.stat().st_size == 0
with OUTPUT_FILE.open("a", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=fields)
    if write_header:
        writer.writeheader()
    for video_id, item in new_items:
        author = item.get("author") or {}
        stats = item.get("statistics") or {}
        writer.writerow({
            "collected_at_utc": run_time,
            "query": KEYWORD,
            "aweme_id": video_id,
            "created_at": item.get("create_time"),
            "author": author.get("unique_id") or author.get("nickname"),
            "description": item.get("desc"),
            "share_url": item.get("share_url"),
            "play_count": stats.get("play_count"),
            "digg_count": stats.get("digg_count"),
            "comment_count": stats.get("comment_count"),
            "share_count": stats.get("share_count"),
        })

seen.update(current.keys())
STATE_FILE.write_text(json.dumps(sorted(seen)), encoding="utf-8")
print(f"In der Antwort: {len(current)} eindeutige Videos; neu: {len(new_items)}")

Fehlende Werte im JSON schreibt das Skript als leere Zellen: Einzelne Einträge enthalten möglicherweise nicht alle Felder und Kennzahlen. Der Code ersetzt fehlende Werte nicht durch null und behandelt null auch nicht als fehlende Daten. Der Erfassungszeitpunkt wird getrennt von der Veröffentlichungszeit gespeichert, die die API im Feld create_time zurückgibt.

So funktioniert die Änderungsprüfung

  1. Die Anfrage gibt eine Seite mit Suchergebnissen zum angegebenen Suchbegriff zurück.
  2. Der Normalisierer sammelt Einträge aus aweme_list und search_item_list[].aweme_info.
  3. Das Skript entfernt anhand der Video-ID Duplikate innerhalb der Antwort.
  4. Die IDs werden mit dem lokalen JSON-Protokoll verglichen.
  5. Neue IDs werden der CSV hinzugefügt; anschließend wird der gesamte bisher erfasste Bestand für den nächsten Durchlauf gespeichert.
Artikel: TikTok-Suche in ein wöchentliches Änderungsprotokoll verwandeln
Zusammenfassung: Richten Sie eine wiederholbare Erfassung von TikTok-Videos zu einer Suchanfrage ein: Verarbeiten Sie beide API-Antwortformate, entfernen Sie Duplikate und speichern Sie nur neue Einträge für den Wochenbericht.
Bildrolle: unterstützende Illustration 2 — ein anderer konkreter Aspekt
Abschnitt: So funktioniert die Änderungsprüfung
Visuelles Motiv: Klare Infografik auf Russisch mit fünf verifizierten Workflow-Schritten und Beschriftungen: Anfrage / Zwei Antwortarrays / Deduplizierung nach awe
Das Schema zeigt den Weg von der Suchantwort zur CSV mit neuen Einträgen und zum JSON-Protokoll für den nächsten Durchlauf.© jsonscraper · KI-generierte Illustration
Artikel: TikTok-Suche in ein wöchentliches Änderungsprotokoll verwandeln
Zusammenfassung: Richten Sie eine wiederholbare Erfassung von TikTok-Videos zu einer Suchanfrage ein: Verarbeiten Sie beide API-Antwortformate, entfernen Sie Duplikate und speichern Sie nur neue Einträge für den Wochenbericht.
Bildrolle: Titelbild — die zentrale Idee
Abschnitt: So funktioniert die Änderungsprüfung
Visuelles Motiv: Editoriales Stillleben einer wöchentlichen Datenprüfung: gestapelte transparente Karten als Suchergebnisse öffentlicher Kurzvideos, eine neu aufgetauchte Karte neben einem kompakten
IDs, die im lokalen Protokoll neu sind, werden von erneut gefundenen Videos getrennt.© jsonscraper · KI-generiert

Eine Visualisierung dieses Ablaufs ist hilfreich, wenn das Skript an Kollegen übergeben wird: Die CSV ist ein fortlaufendes Protokoll, das JSON enthält den Deduplizierungsstatus. Beides lässt sich getrennt vom Code speichern und gemeinsam sichern. Ersetzen Sie für Team- oder Cloud-Ausführungen die lokale JSON-Datei durch einen geeigneten persistenten Speicher und sorgen Sie für eine atomare Aktualisierung des Status, damit parallele Durchläufe einander nicht überschreiben.

Erneuter Durchlauf und Paginierung

Führen Sie das Skript nach Zeitplan mit dem Betriebssystem-Scheduler, einem CI-Job oder einem Automatisierungsworkflow aus. Ändern Sie den Suchbegriff nicht, ohne seine Version zu dokumentieren: Verschiedene Anfragen erzeugen unterschiedliche Auswahlen, und ihre Vermischung in einem Protokoll erschwert die Interpretation. Der Einfachheit halber nutzt das Skript eine einzige Anfrage; eine Liste von Anfragen lässt sich in einer Schleife abarbeiten, wobei das Feld query für jede Zeile gespeichert wird.

Die API unterstützt cursor, um Suchergebnisse durchzublättern. Wenn Sie die Paginierung hinzufügen, übergeben Sie den Cursor aus der vorherigen Antwort, speichern Sie ihn als undurchsichtigen Wert und beenden Sie den Durchlauf, sobald keine weiteren Seiten benötigt werden. count legt die Anzahl der angeforderten Elemente fest; die tatsächliche Zahl der Einträge sollte jedoch anhand der Antwort bestimmt werden. Auch mehrere Seiten sind lediglich abgerufene Suchergebnisse und keine Garantie dafür, dass die gesamte Plattform erfasst wurde.

Das vorliegende Skript enthält bewusst keine automatische Textklassifizierung und leitet keinen „Trend“ ab. Die CSV hilft dabei, neu gefundene Einträge schnell herauszufiltern; ein Analyst kann sie anschließend nach Thema, Absicht oder Fragetyp kategorisieren und Beispiele manuell prüfen. Wenn Sie ein Sprachmodell einsetzen, übermitteln Sie nur die benötigten Textfelder und lassen Sie es Kategorien zusammen mit der ursprünglichen ID zurückgeben, damit sich das Ergebnis überprüfen und dem Eintrag zuordnen lässt.

Prüfungen und häufige Fehler

  • HTTP-Fehler. raise_for_status() bricht die Ausführung bei einem HTTP-Status außerhalb des Erfolgsbereichs ab. Prüfen Sie API-Verfügbarkeit, Parameter und Konto, bevor Sie die Statusdatei aktualisieren.
  • API-Status ungleich ok. Das Skript stoppt vor dem Speichern der Ergebnisse, wenn die Antwort auf oberster Ebene das Feld status mit einem anderen Wert enthält. So bleibt das vorherige Protokoll erhalten und eine fehlerhafte Antwort wird nicht fälschlich als leere Trefferliste behandelt.
  • Leere Liste in aweme_list. Prüfen Sie auch search_item_list; der Code berücksichtigt beide Strukturen.
  • Videos erscheinen in mehreren Durchläufen erneut. Bei überlappenden Seiten der Suchergebnisse ist das erwartbar: Bereits gespeicherte IDs werden nicht erneut in den Bericht aufgenommen.
  • Eine Kennzahl fehlt. Die Zelle bleibt leer. Unterscheiden Sie bei Berechnungen fehlende Werte von tatsächlichen Nullen.
  • Statusdaten verloren. Das Skript behandelt alle zurückgegebenen IDs als neu. Sichern Sie seen_video_ids.json zusammen mit der CSV oder verwenden Sie eine persistente Datenbank.

Protokollieren Sie bei der Automatisierung Diagnoseinformationen ohne den Schlüssel: Startzeit, HTTP-Code, API-Status, Zahl der geparsten Einträge und Zahl der neuen IDs. So lässt sich unterscheiden, ob keine neuen Videos vorhanden waren oder die Anfrage fehlgeschlagen ist. Die vollständige Originalantwort kann separat archiviert werden, wenn eine spätere Überprüfung des Schemas erforderlich ist; beschränken Sie Zugriff und Aufbewahrungsdauer entsprechend den Aufgaben des Teams.

Ergebnis

Nach dem Durchlauf liegen eine CSV-Datei mit für das Protokoll neuen Video-IDs, Beschreibungen, Links und verfügbaren öffentlichen Feldern sowie ein JSON-Status für den Vergleich mit dem nächsten Durchlauf vor. Dieses Ergebnis eignet sich als kompakte Eingangsqueue für Support-, Analyse- oder Content-Teams. Eine Beschreibung der API und der Zugangsmöglichkeiten finden Sie auf der Seite zur TikTok Scraper API; die genauen Suchparameter sollten Sie im offiziellen Routenleitfaden überprüfen.

Menschen

Für diesen Artikel sind noch keine Personen aufgeführt.

Lesen Sie weiterWiederkehrende Produktfragen auf TikTok erkennen
Lesen Sie den nächsten Artikel

Vom Artikel zur funktionierenden Integration

Entdecke die Social-Data-APIs von jsonscraper, teste Anfragen und entwickle deinen nächsten Workflow.

APIs entdecken