jsonscraper
Markeder
Tilbake til journalen

Slik gjør du TikTok-søk om til en ukentlig endringslogg

Et Python-skript lagrer nylig funne videoer, sammenligner ID-er og lager en CSV-fil for regelmessig gjennomgang av emner

Redaksjonelle retningslinjer Meld fra om en feil

En ukentlig rapport fra TikTok-søk er nyttig når den viser hvilke videoer som dukket opp i den nyeste søkekjøringen siden forrige gang. Det holder å lagre ID-ene til videoer som allerede er sett, og legge nye resultater til i en CSV-fil. Nedenfor finner du et gjentakbart Python-eksempel med TikTok Scraper API: Det søker etter videoer med et nøkkelord, håndterer begge dokumenterte svarformatene og opprettholder en lokal ID-database.

Målet: oppdage nye innlegg uten å gå gjennom hele resultatlisten på nytt

Et kundestøtteteam, en markedsforsker eller en innholdsanalysemedarbeider kan ha behov for et regelmessig utvalg av offentlige videoer knyttet til et produktsøk. Hvis resultatene lastes ned i sin helhet hver gang, gjør gjentatte videoer gjennomgangen vanskeligere, og nye innlegg kan forsvinne blant dem som allerede er behandlet. En ID-logg gjør resultatene fra hver kjøring sammenlignbare: CSV-filen inneholder bare videoer som er nye for denne prosessen, sammen med de viktigste feltene i svaret.

Loggen besvarer et avgrenset, men praktisk spørsmål: Hvilke elementer fantes i svaret fra den aktuelle kjøringen, men ikke i det lagrede ID-settet? Dette er nyttig som en kø for manuell gjennomgang og for å overføre data til et regneark eller videre analyse. Utvalget gjenspeiler API-resultatene for det angitte søket; det beskriver ikke alle TikTok-innlegg.

Dette trenger du

  • Python 3.8 eller nyere.
  • Tilgang til TikTok Scraper API og en lisensnøkkel.
  • Et søk som kan gjentas uten å endre betydning, for eksempel et produktnavn eller en bestemt frase.

Lagre nøkkelen i miljøvariabelen JSONSCRAPER_TIKTOK_LICENSE_KEY, ikke i skriptfilen. I eksemplet nedenfor sendes nøkkelen som forespørselsparameteren license_key, i samsvar med API-skjemaet. Ikke skriv den ut i kjøreloggen.

export JSONSCRAPER_TIKTOK_LICENSE_KEY="din_nøkkel"
python -m pip install requests

I Windows PowerShell kan du angi variabelen for den gjeldende økten slik: $env:JSONSCRAPER_TIKTOK_LICENSE_KEY="din_nøkkel". Ikke legg ekte hemmeligheter i Git eller i en delt CSV-fil.

Integrasjon: utfør søket og normaliser JSON

Dokumentasjonen beskriver GET-ruten /searchVideo for videosøk, med den obligatoriske parameteren keyword. Du kan også angi count, region, sortering, tidsfilter og en markør for å bla gjennom resultatene. Dette enkle eksemplet bruker bare nøkkelord, antall elementer som skal hentes, og regionen USA. Oversikten over TikTok API-rutene lister opp de nøyaktige parameternavnene.

Søkesvaret krever litt ekstra oppmerksomhet på strukturen: Matrisen aweme_list kan være tom, mens videoelementer kan ligge i search_item_list, med dataene nestet under aweme_info. Koden sjekker derfor begge stier, slår deretter sammen elementene og fjerner gjentakelser basert på aweme_id. Dette hindrer at gyldig JSON feilaktig blir til en tom rapport.

import csv
import json
import os
from pathlib import Path
from datetime import datetime, timezone

import requests

BASE_URL = "https://tiktok.evelode.com/searchVideo"
KEYWORD = "produktnavn"
REGION = "US"
COUNT = 30
STATE_FILE = Path("seen_video_ids.json")
OUTPUT_FILE = Path("new_tiktok_videos.csv")

license_key = os.environ.get("JSONSCRAPER_TIKTOK_LICENSE_KEY")
if not license_key:
    raise RuntimeError("Angi JSONSCRAPER_TIKTOK_LICENSE_KEY")

response = requests.get(
    BASE_URL,
    params={
        "license_key": license_key,
        "keyword": KEYWORD,
        "count": COUNT,
        "region": REGION,
    },
    timeout=60,
)
response.raise_for_status()
data = response.json()

# Eksempelsvaret inneholder status på toppnivå og et nestet tiktok-objekt.
if "status" in data and data["status"] != "ok":
    raise RuntimeError("API-et returnerte en status som ikke er ok")

tiktok = data.get("tiktok") or {}
items = list(tiktok.get("aweme_list") or [])
for entry in tiktok.get("search_item_list") or []:
    info = entry.get("aweme_info")
    if isinstance(info, dict):
        items.append(info)

# Unike elementer i det aktuelle svaret, med opprinnelig rekkefølge.
current = {}
for item in items:
    video_id = item.get("aweme_id")
    if video_id:
        current[str(video_id)] = item

if STATE_FILE.exists():
    seen = set(json.loads(STATE_FILE.read_text(encoding="utf-8")))
else:
    seen = set()

new_items = [(video_id, item) for video_id, item in current.items()
             if video_id not in seen]
run_time = datetime.now(timezone.utc).isoformat()

fields = ["collected_at_utc", "query", "aweme_id", "created_at",
          "author", "description", "share_url", "play_count",
          "digg_count", "comment_count", "share_count"]
write_header = not OUTPUT_FILE.exists() or OUTPUT_FILE.stat().st_size == 0
with OUTPUT_FILE.open("a", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=fields)
    if write_header:
        writer.writeheader()
    for video_id, item in new_items:
        author = item.get("author") or {}
        stats = item.get("statistics") or {}
        writer.writerow({
            "collected_at_utc": run_time,
            "query": KEYWORD,
            "aweme_id": video_id,
            "created_at": item.get("create_time"),
            "author": author.get("unique_id") or author.get("nickname"),
            "description": item.get("desc"),
            "share_url": item.get("share_url"),
            "play_count": stats.get("play_count"),
            "digg_count": stats.get("digg_count"),
            "comment_count": stats.get("comment_count"),
            "share_count": stats.get("share_count"),
        })

seen.update(current.keys())
STATE_FILE.write_text(json.dumps(sorted(seen)), encoding="utf-8")
print(f"I svaret: {len(current)} unike videoer; nye: {len(new_items)}")

Skriptet skriver manglende JSON-verdier som tomme celler: enkelte poster kan mangle felt og måltall. Koden erstatter ikke manglende verdier med null og tolker heller ikke null som manglende data. Innsamlingstidspunktet registreres separat fra publiseringstidspunktet, som API-et returnerer i feltet create_time.

Slik fungerer endringskontrollen

  1. Forespørselen henter en resultatside fra søket med det angitte nøkkelordet.
  2. Normaliseringen samler poster fra aweme_list og search_item_list[].aweme_info.
  3. Skriptet fjerner duplikater i svaret basert på video-ID.
  4. ID-ene sammenlignes med den lokale JSON-loggen.
  5. Nye ID-er legges til i CSV-filen, og deretter lagres hele det observerte settet til neste kjøring.
Artikkel: Slik gjør du TikTok-søk om til en ukentlig endringslogg
Sammendrag: Sett opp en gjentakbar innsamling av TikTok-videoer med et nøkkelordsøk: håndter begge API-svarformatene, fjern duplikater og lagre bare nye oppføringer til den ukentlige rapporten.
Bildets rolle: støtteillustrasjon 2 – et annet, spesifikt aspekt
Seksjon: Slik fungerer endringskontrollen
Visuelt motiv: Tydelig infografikk på russisk som viser fem bekreftede trinn i arbeidsflyten med etiketter: Søk / To svarmatriser / Deduplisering etter awe
Skjemaet viser veien fra søkesvaret til en CSV-fil med nye oppføringer og en JSON-logg for neste kjøring.© jsonscraper · AI-generert illustrasjon
Artikkel: Slik gjør du TikTok-søk om til en ukentlig endringslogg
Sammendrag: Sett opp en gjentakbar innsamling av TikTok-videoer med et nøkkelordsøk: håndter begge API-svarformatene, fjern duplikater og lagre bare nye oppføringer til den ukentlige rapporten.
Bildets rolle: forsidebilde – hovedideen
Seksjon: Slik fungerer endringskontrollen
Visuelt motiv: Redaksjonelt stilleben av en ukentlig datagjennomgang: stablede, gjennomsiktige kort som representerer offentlige søkefunn fra korte videoer, med ett nyoppdaget kort ved siden av et kompakt
Video-ID-er som er nye for den lokale loggen, skilles fra videoer som allerede er funnet tidligere.© jsonscraper · KI-generert

En visualisering av denne prosessen er nyttig når skriptet skal overleveres til kolleger: CSV-filen er en tilleggslogg, mens JSON-filen inneholder dedupliseringstilstanden. De kan lagres separat fra koden og sikkerhetskopieres sammen. For kjøring i team eller i skyen bør du bytte ut den lokale JSON-filen med et egnet, varig lagringssystem og legge til atomisk oppdatering av tilstanden, slik at samtidige kjøringer ikke overskriver hverandre.

Gjenta kjøringen og bruk paginering

Gjenta kjøringen etter en tidsplan med operativsystemets planlegger, en CI-jobb eller en automatisert arbeidsflyt. Ikke endre nøkkelordet uten å registrere en versjon av det: ulike søk gir ulike utvalg, og det blir vanskeligere å tolke resultatene hvis de blandes i én logg. Skriptet ovenfor bruker ett søk for enkelhets skyld; du kan behandle en liste med søk i en løkke og lagre feltet query for hver rad.

API-et støtter cursor for å bla gjennom søkeresultatene. Hvis du legger til paginering, sender du markøren fra forrige svar videre som en ugjennomsiktig verdi og stopper gjennomgangen når du ikke trenger flere sider. Grensen count angir hvor mange elementer som forespørres, men det faktiske antallet poster må leses fra svaret. Selv med flere sider er dette fortsatt sider med søkeresultater, ikke en garanti for full dekning av plattformen.

Dette eksemplet klassifiserer med hensikt ikke tekst automatisk og trekker ingen konklusjon om en «trend». CSV-filen gjør det enklere å finne nylig oppdagede poster; en analytiker kan deretter merke dem etter tema, hensikt eller spørsmålstype og kontrollere eksemplene manuelt. Hvis du kobler til en språkmodell, bør du bare sende de tekstfeltene du trenger, og be den returnere kategorier sammen med den opprinnelige ID-en, slik at resultatet kan kontrolleres og knyttes til posten.

Kontroller og vanlige feil

  • HTTP-feil. raise_for_status() stanser kjøringen hvis HTTP-koden er utenfor det vellykkede området. Kontroller API-tilgjengelighet, parametere og konto før du oppdaterer tilstandsfilen.
  • API-statusen er ikke ok. Skriptet stopper før resultatene skrives hvis svaret inneholder et statusfelt på toppnivå med en annen verdi. Dermed beholdes den forrige loggen, og et feilaktig svar blir ikke forvekslet med en tom resultatliste.
  • Tom liste i aweme_list. Kontroller også search_item_list; koden håndterer begge strukturene.
  • Videoer gjentas mellom kjøringer. Dette er forventet når søkeresultatsidene overlapper: ID-er som allerede er lagret, blir ikke lagt til i rapporten på nytt.
  • Måltall mangler. Cellen forblir tom. I beregninger må du skille mellom manglende verdier og faktiske nuller.
  • Tilstanden går tapt. Skriptet vil da behandle alle returnerte ID-er som nye. Sikkerhetskopier seen_video_ids.json sammen med CSV-filen, eller bruk en permanent database.

Ved automatisering bør du lagre diagnostiske opplysninger uten nøkkelen: kjøretidspunkt, HTTP-kode, API-status, antall behandlede poster og antall nye ID-er. Da blir det enklere å skille mellom ingen nye videoer og en mislykket forespørsel. Hvis du trenger å undersøke skjemaet på nytt senere, kan du arkivere hele råsvaret separat; begrens tilgangen og lagringstiden etter teamets behov.

Resultatet

Etter kjøringen har du en CSV-fil med video-ID-er som er nye for loggen, beskrivelser, lenker og tilgjengelige offentlige felt, samt en JSON-tilstand som brukes ved sammenligning med neste kjøring. Dette gir en kompakt inngangskø for kundestøtte, analyse eller innholdsteam. Du finner en beskrivelse av API-et og tilgangsalternativer på siden TikTok Scraper API; kontroller de nøyaktige søkeparameterne i den offisielle oversikten over rutene.

Mennesker

Ingen personer er oppført for denne artikkelen ennå.

Fortsett å leseSlik finner du gjentakende spørsmål om produkter på TikTok
Les neste artikkel

Gjør det du leser til en fungerende integrasjon

Utforsk jsonscrapers API-er for sosiale data, test forespørsler og bygg neste arbeidsflyt.

Utforsk API-er