jsonscraper
Rynki
Powrót do dziennika

Jak przekształcić komentarze na TikToku w kolejkę błędów produktu

Zbierz publiczne komentarze do wybranych filmów i zachowaj surowy JSON, aby sprawdzić rzeczywistą strukturę odpowiedzi przed oznaczaniem tematów.

Polityka redakcyjna Zgłoś błąd

Aby zbadać dyskusję o problemie na TikToku, najpierw znajdź odpowiednie filmy, a następnie pobierz komentarze do każdego wybranego nagrania. Dla zespołu produktowego wynikiem może być zestaw surowych odpowiedzi JSON powiązanych z zapytaniem i adresem URL filmu. Zanim utworzysz kolejkę tematów, sprawdź rzeczywistą strukturę komentarzy: dokumentacja potwierdza trasę i jej parametry, ale nie opisuje pól rekordów w odpowiedzi.

To ważny etap potoku analitycznego. Wyniki wyszukiwania pomagają zebrać kontekst dotyczący produktu, a komentarze mogą zawierać zgłoszenia błędów, pytania lub opisy sposobów obejścia problemu. Aby klasyfikacja opierała się na rzeczywistych danych, najpierw zachowaj odpowiedź API bez przekształceń, a następnie dopasuj pola do faktycznie otrzymanego schematu.

Dlaczego samo wyszukiwanie filmów nie wystarczy

Nazwa aplikacji lub urządzenia pomaga znaleźć filmy, ale ich opisy pokazują przede wszystkim sposób, w jaki autor przedstawia temat. Widzowie mogą omawiać konkretne usterki i sposoby użytkowania w komentarzach. Dlatego pobieranie komentarzy dodaje do wyników wyszukiwania drugi poziom danych powiązanych z oryginalnym filmem.

We wcześniejszych materiałach omawiano monitorowanie wyszukiwania na TikToku, wyodrębnianie pytań z opisów i przetwarzanie odpowiedzi wyszukiwania. Tutaj zakres jest węższy: chodzi o pobranie odpowiedzi z trasy komentarzy i sprawdzenie ich struktury przed opracowaniem klasyfikacji. To przydatne dla programistów integracji analitycznych, badaczy doświadczeń użytkowników i zespołów wsparcia.

Od frazy wyszukiwania do weryfikowalnego zbioru danych

Wybierz kilka konkretnych zapytań, na przykład nazwę produktu wraz z nazwą funkcji lub modelu. Zapisz odpowiedź wyszukiwania i adresy URL wybranych filmów. Następnie pobierz komentarze na podstawie adresów URL, zapisując każdą surową odpowiedź osobno. Po sprawdzeniu schematu możesz normalizować potrzebne pola, usuwać duplikaty i grupować teksty według tematów.

Artykuł: Jak przekształcić komentarze na TikToku w kolejkę błędów produktu
Podsumowanie: Potok w Pythonie łączy wyszukiwanie filmów na TikToku z pobieraniem komentarzy przez jsonscraper. Przykład zapisuje i wyświetla surowy JSON, nie zakładając z góry nazw pól komentarzy.
Rola obrazu: ilustracja uzupełniająca 2 — inny konkretny aspekt
Sekcja: Od frazy wyszukiwania do weryfikowalnego zbioru danych
Temat wizualny: Infografika po rosyjsku przedstawiająca proces: wyszukiwanie słów kluczowych → wybór filmu → pobranie komentarzy
Schemat oddziela udokumentowane etapy pobierania od normalizacji, którą należy przeprowadzić po sprawdzeniu rzeczywistej odpowiedzi.© jsonscraper · ilustracja wygenerowana przez AI
  1. Wyszukiwanie: wyszukaj filmy według frazy kluczowej i sprawdź obie obsługiwane struktury wyniku.
  2. Wybór: wybierz odpowiednie filmy i zachowaj ich identyfikatory oraz adresy URL.
  3. Pobieranie komentarzy: przekaż adres URL do trasy komentarzy; aby kontynuować paginację, użyj zwróconego kursora.
  4. Weryfikacja: zachowaj surowy JSON i ustal rzeczywiste nazwy pól na podstawie odpowiedzi.
  5. Analiza: po sprawdzeniu schematu pogrupuj teksty i przekaż przykłady do weryfikacji przez człowieka.
Schemat: wyszukiwanie filmów na TikToku, wybór nagrań, pobranie komentarzy, zapis surowego JSON, weryfikacja struktury i ręczne oznaczanie tematów
Najpierw zachowaj całą odpowiedź; normalizację dodaj dopiero po sprawdzeniu rzeczywistych pól.

Jakich tras używać

Dokumentacja TikTok Scraper API opisuje GET /searchVideo z wymaganym parametrem keyword. Dodatkowe parametry obejmują count, cursor, date_posted, sort_by i region. Do pobierania komentarzy służy GET /getCommentsByUrl z wymaganym video_url; wśród dodatkowych parametrów wymieniono cursor, count i region. Klucz przekazuje się w parametrze license_key.

W odpowiedzi wyszukiwania filmy mogą znajdować się w tiktok.aweme_list lub w tiktok.search_item_list[].aweme_info. Przykład obsługuje obie postacie, sprawdza status zewnętrzny i zapisuje znalezione obiekty. W przypadku odpowiedzi z komentarzami nie zakłada nazwy tablicy ani nazw pól: zapisuje i wyświetla otrzymany JSON, aby można go było sprawdzić.

Prosty skrypt pobierający dane w Pythonie

Kod jest zgodny z Pythonem 3.8 lub nowszym. Zainstaluj requests i ustaw klucz w zmiennej środowiskowej JSONSCRAPER_TIKTOK_LICENSE_KEY. Skrypt zapisuje odpowiedzi wyszukiwania i komentarzy w osobnych plikach JSON, wiążąc każdą odpowiedź z komentarzami z zapytaniem i adresem URL filmu. Pola komentarzy celowo nie są wyodrębniane, dopóki nie sprawdzisz rzeczywistej struktury odpowiedzi.

Artykuł: Jak przekształcić komentarze na TikToku w kolejkę błędów produktu
Podsumowanie: Potok w Pythonie łączy wyszukiwanie filmów na TikToku z pobieraniem komentarzy przez jsonscraper. Przykład zapisuje i wyświetla surowy JSON, nie zakładając z góry nazw pól komentarzy.
Rola obrazu: ilustracja główna — centralna idea
Sekcja: Prosty skrypt pobierający dane w Pythonie
Temat wizualny: Reportażowa fotografia redakcyjna przedstawiająca wydruk surowej odpowiedzi JSON obok kart symbolizujących adresy URL filmów i komentarze, ułożonych dla zespołu produktowego
Surowa odpowiedź zachowuje dane źródłowe, dzięki czemu można sprawdzić ich strukturę przed normalizacją.© jsonscraper · ilustracja wygenerowana przez AI
import json
import os
from pathlib import Path

import requests

BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)


def get_json(path, params):
    response = requests.get(
        BASE + path,
        params={**params, "license_key": KEY},
        timeout=30,
    )
    response.raise_for_status()
    data = response.json()
    if data.get("status") != "ok":
        raise RuntimeError("API returned non-ok status")
    return data


def videos_from_search(data):
    tiktok = data.get("tiktok") or {}
    found = list(tiktok.get("aweme_list") or [])
    for item in tiktok.get("search_item_list") or []:
        aweme = (item or {}).get("aweme_info") or {}
        if aweme:
            found.append(aweme)

    unique = {}
    for video in found:
        video_id = video.get("aweme_id")
        video_url = video.get("share_url")
        if video_id and video_url:
            unique[video_id] = video
    return list(unique.values())


for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
    search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
    (OUT / f"search_{index}.json").write_text(
        json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
    )

    for video in videos_from_search(search):
        video_id = video["aweme_id"]
        video_url = video["share_url"]
        comments = get_json(
            "/getCommentsByUrl",
            {"video_url": video_url, "count": 30},
        )
        filename = f"comments_{video_id}.json"
        record = {
            "keyword": keyword,
            "video_id": video_id,
            "video_url": video_url,
            "response": comments,
        }
        (OUT / filename).write_text(
            json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
        )
        print(json.dumps(record, ensure_ascii=False, indent=2))

Skrypt sprawdza zewnętrzny status odpowiedzi, a następnie zapisuje cały obiekt JSON. Dzięki temu można obejrzeć rzeczywiste klucze, typy wartości i zagnieżdżenie przed utworzeniem tabeli komentarzy. Jeśli API zwróci błąd, kod zatrzymuje się i zgłasza go zamiast po cichu zapisywać nieprawidłowy wynik.

Jak przejść od surowego JSON-u do kolejki tematów

Po sprawdzeniu jednej lub kilku odpowiedzi przygotuj normalizator zgodny z faktycznie wykrytym schematem. Zachowuj surowy JSON obok znormalizowanych wierszy, aby móc zweryfikować przekształcenie i ponownie przetworzyć dane po zmianie kodu. Warto zachować w rekordzie adres URL filmu, oryginalny wpis komentarza, czas pobrania i wersję zastosowanej reguły oznaczania.

Na początek możesz zastosować etykiety tematyczne, takie jak „błąd”, „pytanie o użytkowanie”, „prośba o nową funkcję”, „opinia” i „nie dotyczy produktu”. Reguły oparte na słowach kluczowych lub klasyfikator pomagają uporządkować zbiór; przypisaną etykietę przechowuj oddzielnie od oryginalnego tekstu. Zanim powstanie zadanie, specjalista powinien sprawdzić kontekst komentarza i oryginalny film.

Przy usuwaniu duplikatów korzystaj z pola identyfikatora dopiero po potwierdzeniu, że występuje w odpowiedzi. Jeśli w danych nie ma identyfikatora, tymczasowym kluczem może być połączenie adresu URL filmu ze znormalizowanym tekstem; metoda ta łączy identyczne sformułowania w obrębie jednego filmu, ale nie pozwala ustalić, czy wpisy pochodzą od tego samego autora.

Automatyzacja i pochodzenie danych

Uruchamiaj pobieranie według harmonogramu za pomocą cron, GitHub Actions lub n8n. Przechowuj klucz w sekretach środowiska wykonawczego i nie umieszczaj go w repozytorium, plikach wynikowych ani dziennikach. Zachowuj surowe odpowiedzi JSON do weryfikacji; określ czas przechowywania i uprawnienia dostępu zgodnie z wymaganiami zespołu oraz obowiązującymi zasadami platformy.

Aby monitorować działanie potoku, zapisuj liczbę udanych zapytań wyszukiwania, znalezionych unikalnych filmów, zapisanych odpowiedzi z komentarzami i błędów API. Te wskaźniki techniczne pokazują, na którym etapie zmienił się wynik. Pusta odpowiedź, błąd zapytania i brak dopasowań po klasyfikacji tematycznej to różne stany, dlatego zapisuj je oddzielnie.

W bazie danych warto rozdzielić encje pobierania, filmów, surowych odpowiedzi z komentarzami i decyzji dotyczących oznaczania tematów. Powiązanie z zapytaniem i filmem pozwoli otworzyć źródło do ręcznej weryfikacji. Po potwierdzeniu schematu możesz dodać paginację opartą na kursorze: trasa przyjmuje cursor, a w kolejnym zapytaniu należy przekazać wartość zwróconą przez API, nie próbując jej interpretować.

Co daje takie podejście

Zespół otrzymuje powtarzalny proces pobierania i weryfikowalny zestaw źródeł, na podstawie którego można utworzyć kolejkę tematów. Analityk może prześledzić, które zapytanie wyszukiwania doprowadziło do filmu i która odpowiedź z komentarzami została zapisana. Po sprawdzeniu struktury programista może dodać normalizację i grupowanie tematyczne bez zastępowania nieznanego schematu domysłami.

W raporcie podawaj frazy wyszukiwania, datę uruchomienia, kryteria wyboru i liczbę przetworzonych odpowiedzi. Wnioski dotyczą konkretnych zapytań i zwróconych danych; pomagają badać znalezione dyskusje i planować dalszą weryfikację, z zachowaniem ich pochodzenia i kontekstu.

Zacznij od jednego produktu i kilku diagnostycznych zapytań: zapisz odpowiedzi, sprawdź strukturę komentarzy, a następnie dodaj do normalizatora tylko potwierdzone pola. Parametry tras opisano w dokumentacji API, a informacje o produkcie znajdują się na stronie TikTok Scraper API.

Ludzie

Nie ma jeszcze żadnych osób na liście dla tego artykułu.

Czytaj dalejJak wykrywać powtarzające się pytania o produkt na TikToku
Przeczytaj następny artykuł

Zmień lekturę w działającą integrację

Poznaj API danych społecznościowych jsonscraper, testuj zapytania i buduj kolejne procesy.

Poznaj API