Kun haluat tutkia TikTokissa käytävää keskustelua ongelmasta, etsi ensin sopivia videoita ja hae sitten kommentit jokaisesta valitsemastasi videosta. Tuotetiimi voi saada tulokseksi joukon alkuperäisiä JSON-vastauksia, jotka on yhdistetty hakukyselyyn ja videon URL-osoitteeseen. Tarkista kommenttien todellinen rakenne ennen aihejonon muodostamista: dokumentaatio vahvistaa reitin ja sen parametrit, mutta ei kuvaa vastaustietueiden kenttiä.
Tämä on analytiikkaputken tärkeä vaihe. Hakutulokset auttavat kokoamaan tuotetta koskevaa kontekstia, ja kommenteissa voi olla virheilmoituksia, kysymyksiä tai kiertotapoja. Jotta luokittelu perustuu todelliseen dataan, tallenna ensin API-vastaus muokkaamattomana ja vertaa sitten kenttiä todelliseen vastausskeemaan.
Miksi videoiden hakeminen ei riitä
Sovelluksen tai laitteen nimi auttaa löytämään videoita, mutta videon kuvaus kertoo ensisijaisesti tekijän näkökulmasta. Katsojat voivat käsitellä kommenteissa tiettyjä vikoja ja käyttötapoja. Kommenttien kerääminen tuo siksi hakutuloksiin toisen datatason, joka liittyy alkuperäiseen videoon.
Aiemmissa artikkeleissa on käsitelty TikTok-haun seurantaa, kuvausten kysymysten poimintaa ja hakuvastausten käsittelyä. Tässä tehtävä on rajatumpi: kerätä kommenttireitin vastaukset ja tarkistaa niiden rakenne ennen luokittelun suunnittelua. Tämä on hyödyllistä analytiikkaintegraatioiden kehittäjille, käyttäjäkokemuksen tutkijoille ja tukitiimeille.
Hakusanasta tarkistettavaan aineistoon
Määritä muutama täsmällinen hakukysely, esimerkiksi tuotteen nimi yhdessä ominaisuuden tai mallin nimen kanssa. Tallenna hakuvastaus ja valittujen videoiden URL-osoitteet. Hae sitten kommentit URL-osoitteen perusteella ja tallenna jokainen alkuperäinen vastaus erikseen. Kun olet tarkistanut skeeman, voit normalisoida tarvittavat kentät, poistaa kaksoiskappaleet ja ryhmitellä tekstit aiheittain.

- Haku: hae videoita avainsanalla ja tarkista molemmat tuetut tulosrakenteet.
- Valinta: valitse aiheeseen sopivat videot ja tallenna niiden tunnisteet ja URL-osoitteet.
- Kommenttien kerääminen: välitä URL-osoite kommenttireitille; jatka sivutusta käyttämällä palautettua kohdistinta.
- Tarkistus: tallenna raakamuotoinen JSON ja selvitä kenttien todelliset nimet vastauksesta.
- Analyysi: ryhmittele tekstit skeeman tarkistamisen jälkeen ja anna esimerkit ihmisen arvioitaviksi.
Käytettävät reitit
TikTok Scraper API -dokumentaatio kuvaa reitin GET /searchVideo, jossa pakollinen parametri on keyword. Valinnaisia parametreja ovat count, cursor, date_posted, sort_by ja region. Kommentteja varten on reitti GET /getCommentsByUrl, jossa pakollinen parametri on video_url; valinnaisiksi parametreiksi ilmoitetaan cursor, count ja region. Avain välitetään parametrissa license_key.
Hakuvastauksen videot voivat sijaita kohdassa tiktok.aweme_list tai kohdassa tiktok.search_item_list[].aweme_info. Esimerkki käsittelee molemmat muodot, tarkistaa ulomman tilan ja tallentaa löydetyt objektit. Kommenttivastauksen kohdalla se ei oleta taulukon nimeä eikä kenttien nimiä, vaan tallentaa ja tulostaa saadun JSONin tarkastelua varten.
Yksinkertainen Python-kerääjä
Koodi on yhteensopiva Python 3.8:n ja sitä uudempien versioiden kanssa. Asenna requests ja aseta avain ympäristömuuttujaan JSONSCRAPER_TIKTOK_LICENSE_KEY. Skripti kirjoittaa haku- ja kommenttivastaukset erillisiin JSON-tiedostoihin ja liittää kuhunkin kommenttivastaukseen hakukyselyn ja videon URL-osoitteen. Kommenttikenttiä ei poimita ennen kuin olet tarkistanut vastausrakenteen.

import json
import os
from pathlib import Path
import requests
BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
(OUT / f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT / filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
Skripti tarkistaa vastauksen ulomman tilan ja kirjoittaa sitten koko JSON-objektin tiedostoon. Näin voit tutkia todellisia avaimia, arvojen tyyppejä ja sisäkkäisyyttä ennen kommenttitaulukon rakentamista. Jos API palauttaa virheen, koodi pysähtyy ja ilmoittaa siitä sen sijaan, että tallentaisi virheellisen tuloksen huomaamatta.
Raakamuotoisesta JSONista aihejonoksi
Kun olet tarkistanut yhden tai useamman vastauksen, laadi normalisoija todellisuudessa havaitun skeeman perusteella. Säilytä alkuperäinen JSON normalisoitujen rivien rinnalla, jotta voit tarkistaa muunnoksen ja käsitellä datan uudelleen, jos koodi muuttuu. Tietueeseen kannattaa jättää videon URL-osoite, kommentin alkuperäinen tietue, keräysaika ja käytetty luokittelusääntöjen versio.
Aiheiden luokittelun voi aloittaa esimerkiksi tunnisteilla ”virhe”, ”käyttökysymys”, ”ominaisuuspyyntö”, ”palaute” ja ”ei liity tuotteeseen”. Avainsanasäännöt tai luokitin auttavat järjestämään aineistoa; tallenna annettu tunniste erillään alkuperäisestä tekstistä. Ennen tehtävän luomista asiantuntijan tulee tarkistaa kommentin konteksti ja alkuperäinen video.
Käytä tunnistekenttää kaksoiskappaleiden poistamiseen vasta, kun olet varmistanut sen löytyvän vastauksesta. Jos tunnistetta ei ole datassa, tilapäisenä avaimena voi käyttää videon URL-osoitteen ja normalisoidun tekstin yhdistelmää. Näin sama sanamuoto yhdistyy yhden videon sisällä, mutta menetelmä ei osoita, että tietueet olisivat saman kirjoittajan tekemiä.
Automaatio ja datan alkuperä
Aja keräys ajastetusti cronilla, GitHub Actionsilla tai n8n:llä. Säilytä avain suoritusympäristön salaisuuksissa äläkä sisällytä sitä repositorioon, tulostiedostoihin tai lokeihin. Pidä alkuperäiset JSON-vastaukset saatavilla tarkistamista varten ja määritä säilytysaika sekä käyttöoikeudet tiimisi vaatimusten ja sovellettavien alustasääntöjen mukaisesti.
Seuraa putken toimintaa kirjaamalla onnistuneiden hakujen, löydettyjen yksilöllisten videoiden, tallennettujen kommenttivastausten ja API-virheiden määrä. Nämä tekniset mittarit osoittavat, missä vaiheessa tulos muuttui. Tyhjä vastaus, pyyntövirhe ja se, ettei aiheluokittelun jälkeen löydy osumia, ovat eri tiloja, joten pidä ne erillään.
Tietokannassa on kätevää erottaa keräyskerrat, videot, kommenttien alkuperäiset vastaukset ja aiheluokittelua koskevat päätökset omiksi kokonaisuuksikseen. Yhteys hakukyselyyn ja videoon mahdollistaa lähteen avaamisen manuaalista tarkistusta varten. Kun skeema on vahvistettu, voit lisätä sivutuksen kohdistimella: reitti hyväksyy cursor-parametrin, ja seuraavassa pyynnössä tulee välittää API:n palauttama arvo yrittämättä tulkita sitä.
Mitä tällä lähestymistavalla saavutetaan
Tiimi saa toistettavan keräysprosessin ja tarkistettavan lähdeaineiston, josta voidaan muodostaa aihejono. Analyytikko voi jäljittää, mikä hakukysely johti videoon ja mikä kommenttivastaus tallennettiin. Kun rakenne on tarkistettu, kehittäjä voi lisätä normalisoinnin ja aiheiden ryhmittelyn korvaamatta tuntematonta skeemaa oletuksilla.
Ilmoita raportissa käytetyt hakulausekkeet, ajon päivämäärä, valintaperusteet ja käsiteltyjen vastausten määrä. Päätelmät koskevat tiettyjä kyselyjä ja niiden palauttamaa dataa; ne auttavat tutkimaan havaittuja keskusteluja ja suunnittelemaan tarkistusta samalla, kun niiden alkuperä ja konteksti säilyvät.
Aloita yhdestä tuotteesta ja muutamasta ongelmaa kuvaavasta hakukyselystä: tallenna vastaukset, tarkista kommenttien rakenne ja lisää normalisoijaan vasta sitten vahvistetut kentät. Reittien parametrit kuvataan API-dokumentaatiossa, ja tuotetiedot löytyvät TikTok Scraper API -sivulta.