jsonscraper
Marknader
Tillbaka till journalen

Så gör du TikTok-sökningar till en veckovis ändringslogg

Ett Python-skript sparar nyfunna videor, jämför dem med ID:n och skapar en CSV-fil för regelbunden granskning av ämnen

Redaktionella riktlinjer Rapportera ett fel

En veckorapport från TikTok-sökningar är användbar när den visar vilka videor som tillkommit i den senaste hämtningen sedan förra körningen. Det räcker att spara ID:n för videor som redan har setts och lägga till nya resultat i en CSV-fil. Här är ett reproducerbart Python-exempel med TikTok Scraper API: det söker efter videor med ett sökord, tolkar båda dokumenterade svarsformaten och för en lokal ID-databas.

Uppgiften: upptäck nya inlägg i stället för att granska hela resultatlistan igen

Ett supportteam, en marknadsundersökare eller en innehållsanalytiker kan behöva ett återkommande urval av offentliga videor som matchar en produktsökning. Om hela resultatet hämtas varje gång gör återkommande videor granskningen mer tidskrävande, och nya poster riskerar att försvinna bland sådant som redan har behandlats. En ID-logg gör resultaten från varje körning jämförbara: CSV-filen innehåller bara videor som är nya för det här arbetsflödet samt de viktigaste fälten från svaret.

Loggen besvarar en avgränsad men praktisk fråga: vilka poster förekom i den aktuella körningens svar men saknades i den sparade ID-samlingen? Det är användbart för en kö av material som ska granskas manuellt och för att överföra data till ett kalkylblad eller en senare analys. Urvalet speglar API-resultaten för den angivna sökningen; det beskriver inte i sig alla publiceringar på TikTok.

Det här behöver du

  • Python 3.8 eller senare.
  • Åtkomst till TikTok Scraper API och en licensnyckel.
  • En sökfras som kan upprepas utan att ändra betydelse, till exempel ett produktnamn eller en specifik fras.

Spara nyckeln i miljövariabeln JSONSCRAPER_TIKTOK_LICENSE_KEY, inte i skriptfilen. I exemplet nedan skickas nyckeln som frågeparameter license_key, enligt API-schemat. Skriv inte ut den i körningsloggen.

export JSONSCRAPER_TIKTOK_LICENSE_KEY="din_nyckel"
python -m pip install requests

I Windows PowerShell kan du ange variabeln för den aktuella sessionen så här: $env:JSONSCRAPER_TIKTOK_LICENSE_KEY="din_nyckel". Lägg inte riktiga hemligheter i Git eller i en gemensam CSV-fil.

Integration: gör en sökning och normalisera JSON

Dokumentationen beskriver GET-rutten /searchVideo för videosökning, med den obligatoriska parametern keyword. Du kan också ange count, region, sortering, tidsfilter och en markör för att bläddra bland resultaten. Det här minimala exemplet använder bara sökord, antal begärda objekt och regionen USA. Översikten över TikTok API-rutter listar de exakta parameternamnen.

Sökresultatets struktur kräver särskild uppmärksamhet: arrayen aweme_list kan vara tom, och videoobjekt kan finnas i search_item_list, där data ligger under aweme_info. Därför kontrollerar koden båda sökvägarna, sammanför sedan objekten och tar bort dubbletter utifrån aweme_id. Det förhindrar att korrekt tolkad JSON av misstag blir en tom rapport.

import csv
import json
import os
from pathlib import Path
from datetime import datetime, timezone

import requests

BASE_URL = "https://tiktok.evelode.com/searchVideo"
KEYWORD = "produktnamn"
REGION = "US"
COUNT = 30
STATE_FILE = Path("seen_video_ids.json")
OUTPUT_FILE = Path("new_tiktok_videos.csv")

license_key = os.environ.get("JSONSCRAPER_TIKTOK_LICENSE_KEY")
if not license_key:
    raise RuntimeError("Ange JSONSCRAPER_TIKTOK_LICENSE_KEY")

response = requests.get(
    BASE_URL,
    params={
        "license_key": license_key,
        "keyword": KEYWORD,
        "count": COUNT,
        "region": REGION,
    },
    timeout=60,
)
response.raise_for_status()
data = response.json()

# Exempelsvaret innehåller en yttre status och ett inbäddat tiktok-objekt.
if "status" in data and data["status"] != "ok":
    raise RuntimeError("API:t returnerade en annan status än ok")

tiktok = data.get("tiktok") or {}
items = list(tiktok.get("aweme_list") or [])
for entry in tiktok.get("search_item_list") or []:
    info = entry.get("aweme_info")
    if isinstance(info, dict):
        items.append(info)

# Unika objekt i det aktuella svaret, med ordningen bevarad.
current = {}
for item in items:
    video_id = item.get("aweme_id")
    if video_id:
        current[str(video_id)] = item

if STATE_FILE.exists():
    seen = set(json.loads(STATE_FILE.read_text(encoding="utf-8")))
else:
    seen = set()

new_items = [(video_id, item) for video_id, item in current.items()
             if video_id not in seen]
run_time = datetime.now(timezone.utc).isoformat()

fields = ["collected_at_utc", "query", "aweme_id", "created_at",
          "author", "description", "share_url", "play_count",
          "digg_count", "comment_count", "share_count"]
write_header = not OUTPUT_FILE.exists() or OUTPUT_FILE.stat().st_size == 0
with OUTPUT_FILE.open("a", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=fields)
    if write_header:
        writer.writeheader()
    for video_id, item in new_items:
        author = item.get("author") or {}
        stats = item.get("statistics") or {}
        writer.writerow({
            "collected_at_utc": run_time,
            "query": KEYWORD,
            "aweme_id": video_id,
            "created_at": item.get("create_time"),
            "author": author.get("unique_id") or author.get("nickname"),
            "description": item.get("desc"),
            "share_url": item.get("share_url"),
            "play_count": stats.get("play_count"),
            "digg_count": stats.get("digg_count"),
            "comment_count": stats.get("comment_count"),
            "share_count": stats.get("share_count"),
        })

seen.update(current.keys())
STATE_FILE.write_text(json.dumps(sorted(seen)), encoding="utf-8")
print(f"I svaret: {len(current)} unika videor; nya: {len(new_items)}")

Skriptet skriver tomma celler för värden som saknas i JSON: enskilda poster kan sakna fält och mätvärden. Koden ersätter inte saknade värden med noll och tolkar inte noll som att data saknas. Insamlingstiden anges separat från publiceringstiden, som API:t returnerar i fältet create_time.

Så fungerar ändringskontrollen

  1. Begäran hämtar en resultatsida för sökningen med det angivna sökordet.
  2. Normaliseraren samlar poster från aweme_list och search_item_list[].aweme_info.
  3. Skriptet tar bort dubbletter i svaret utifrån video-ID.
  4. ID:n jämförs med den lokala JSON-loggen.
  5. Nya ID:n läggs till i CSV-filen, och därefter sparas alla ID:n som har setts inför nästa körning.
Artikel: Så gör du TikTok-sökningar till en veckovis ändringslogg
Sammanfattning: Ställ in en återkommande insamling av TikTok-videor utifrån en sökfras: hantera båda API-svarsformaten, ta bort dubbletter och spara bara nya poster i veckorapporten.
Bildens roll: stödillustration 2 — en annan specifik aspekt
Avsnitt: Så fungerar ändringskontrollen
Visuellt motiv: Tydlig infografik på ryska som visar fem verifierade arbetsflödessteg med etiketter: Запрос / Два массива ответа / Дедупликация по awe
Diagrammet visar flödet från söksvaret till en CSV-fil med nya poster och en JSON-logg inför nästa körning.© jsonscraper · AI-genererad illustration
Artikel: Så gör du TikTok-sökningar till en veckovis ändringslogg
Sammanfattning: Ställ in en återkommande insamling av TikTok-videor utifrån en sökfras: hantera båda API-svarsformaten, ta bort dubbletter och spara bara nya poster i veckorapporten.
Bildens roll: omslagsbild — huvudidén
Avsnitt: Så fungerar ändringskontrollen
Visuellt motiv: Redaktionsmässigt stilleben med en veckovis datagranskning: staplade genomskinliga kort som föreställer offentliga sökresultat för kortvideor, och ett nytt kort bredvid en kompakt
ID:n som är nya i den lokala loggen skiljs från videor som hittas på nytt.© jsonscraper · skapad med AI

En visualisering av processen är användbar när skriptet lämnas över till kollegor: CSV-filen är en tilläggslogg, medan JSON-filen innehåller tillståndet för dubblettkontrollen. De kan lagras separat från koden och säkerhetskopieras tillsammans. För körning i team eller moln bör du ersätta den lokala JSON-filen med lämplig beständig lagring och se till att tillståndet uppdateras atomiskt, så att samtidiga körningar inte skriver över varandra.

Återkommande körningar och sidindelning

Kör skriptet återkommande med operativsystemets schemaläggare, ett CI-jobb eller ett automatiserat arbetsflöde. Ändra inte sökordet utan att dokumentera dess version: olika sökningar skapar olika urval, och om de blandas i samma logg blir resultaten svårare att tolka. Det här skriptet använder ett enda sökord för enkelhetens skull; du kan hantera en lista med sökord i en loop och spara värdet i fältet query för varje rad.

API:t stöder cursor för att bläddra bland sökresultat. Om du lägger till sidindelning skickar du vidare markören från föregående svar, lagrar den som ett ogenomskinligt värde och avslutar genomgången när fler sidor inte behövs. Parametern count anger hur många objekt som begärs, men det faktiska antalet poster ska avgöras utifrån svaret. Även flera sidor är bara hämtade sökresultat, inte en garanti för att hela plattformen täcks.

Det här exemplet innehåller avsiktligt ingen automatisk textklassificering eller slutsats om en ”trend”. CSV-filen hjälper till att snabbt hitta nya poster; en analytiker kan sedan märka upp dem efter ämne, avsikt eller frågetyp och kontrollera exemplen manuellt. Om du kopplar till en språkmodell ska du bara skicka de textfält som behövs och be den returnera kategorier tillsammans med ursprungligt ID, så att resultatet kan kontrolleras och kopplas till posten.

Kontroller och vanliga fel

  • HTTP-fel. raise_for_status() avbryter körningen vid en HTTP-kod utanför det framgångsrika intervallet. Kontrollera API-tillgänglighet, parametrar och konto innan du uppdaterar tillståndsfilen.
  • API-statusen är inte ok. Skriptet avbryts innan resultat skrivs om svaret innehåller ett överordnat fält status med ett annat värde. Då bevaras den tidigare loggen, och det blir lättare att undvika att ett felsvar misstas för en tom resultatuppsättning.
  • Tom lista i aweme_list. Kontrollera även search_item_list; koden hanterar båda strukturerna.
  • Videor återkommer mellan körningar. Det är väntat när sökresultatens sidor överlappar: videor vars ID redan har sparats tas inte med igen i rapporten.
  • Ett mätvärde saknas. Cellen lämnas tom. Skilj saknade värden från faktiska nollor i beräkningar.
  • Tillståndet har gått förlorat. Skriptet betraktar alla returnerade ID:n som nya. Säkerhetskopiera seen_video_ids.json tillsammans med CSV-filen eller använd en beständig databas.

Vid automatisering bör du spara diagnostik utan nyckeln: körningstid, HTTP-kod, API-status, antal tolkade poster och antal nya ID:n. Det gör det möjligt att skilja mellan att inga nya videor hittades och att en begäran misslyckades. Det fullständiga ursprungliga svaret kan arkiveras separat om du behöver kontrollera schemat i efterhand; begränsa åtkomst och lagringstid efter teamets behov.

Resultat

Efter körningen har du en CSV-fil med videor vars ID:n är nya i loggen, beskrivningar, länkar och tillgängliga offentliga fält, samt ett JSON-tillstånd för jämförelse med nästa körning. Resultatet fungerar som en kompakt inkorg för support-, analys- eller innehållsteam. Läs mer om API:t och åtkomstalternativen på sidan för TikTok Scraper API; kontrollera de exakta sökparametrarna i den officiella översikten över API-rutter.

Personer

Inga personer listade för denna artikel ännu.

Fortsätt läsaSå hittar du återkommande produktfrågor på TikTok
Läs nästa artikel

Gör det du läser till en fungerande integration

Utforska jsonscrapers API:er för social data, testa anrop och bygg nästa arbetsflöde.

Utforska API:er