jsonscraper
시장
저널로 돌아가기

TikTok 댓글을 제품 버그 분류 대기열로 바꾸는 방법

검색으로 찾은 동영상의 공개 댓글을 수집하고 원본 JSON을 저장해, 주제별로 분류하기 전에 실제 응답 구조를 확인하세요.

편집 정책 오류 제보

TikTok에서 문제 관련 논의를 살펴보려면 먼저 적절한 동영상을 찾은 다음, 선택한 각 동영상의 댓글을 요청하세요. 제품 팀은 요청과 동영상 링크에 연결된 원본 JSON 응답을 수집할 수 있습니다. 주제 분류 대기열을 만들기 전에 실제 댓글 구조를 확인하세요. 문서는 엔드포인트와 매개변수를 설명하지만, 응답 레코드의 필드는 설명하지 않습니다.

이는 분석 파이프라인에서 중요한 단계입니다. 검색 결과는 제품 관련 맥락을 모으는 데 도움이 되고, 댓글에는 오류 제보, 질문 또는 우회 방법이 담길 수 있습니다. 분류가 실제 데이터에 기반하도록 먼저 API 응답을 변환하지 않은 상태로 저장한 다음, 실제로 받은 스키마에 맞춰 필드를 확인하세요.

동영상 검색만으로는 부족한 이유

앱이나 기기 이름으로 동영상을 찾을 수 있지만, 동영상 설명에는 주로 게시자가 사용한 표현이 나타납니다. 시청자는 댓글에서 구체적인 고장이나 사용 방법을 논의할 수 있습니다. 따라서 댓글 수집은 검색 결과에 원본 동영상과 연결된 두 번째 데이터 계층을 더합니다.

이전 글에서는 TikTok 검색 모니터링, 설명에서 질문 추출하기, 검색 응답 처리 등을 다뤘습니다. 이번에는 범위를 좁혀 댓글 엔드포인트의 응답을 수집하고, 분류 기능을 개발하기 전에 그 구조를 확인합니다. 분석 연동을 개발하는 사람, 사용자 경험 연구자, 지원 팀에 유용한 방법입니다.

검색어에서 검증 가능한 데이터셋까지

제품명과 기능 또는 모델명을 함께 쓰는 등 구체적인 검색어를 몇 개 정하세요. 검색 응답과 선택한 동영상의 URL을 저장합니다. 그런 다음 URL을 사용해 댓글을 요청하고, 각 원본 응답을 별도로 저장하세요. 스키마를 확인한 뒤 필요한 필드를 정규화하고, 중복을 제거하며, 텍스트를 주제별로 묶을 수 있습니다.

TikTok 댓글을 제품 버그 분류 대기열로 바꾸는 방법에 관한 글
요약: Python 파이프라인으로 TikTok 동영상 검색과 jsonscraper를 통한 댓글 요청을 연결합니다. 예제는 댓글 필드 이름을 미리 가정하지 않고 원본 JSON을 저장하고 출력합니다.
이미지 역할: 보조 일러스트 2 — 또 다른 구체적 측면
섹션: 검색어에서 검증 가능한 데이터셋까지
시각적 주제: 키워드 검색 → 동영상 선택 → 댓글 요청을 보여 주는 러시아어 프로세스 인포그래픽
이 도식은 문서로 확인된 수집 단계와 실제 응답을 검증한 뒤 수행하는 정규화 단계를 구분합니다.© jsonscraper · AI 생성 일러스트
  1. 검색: 키워드로 동영상을 요청하고, 지원되는 두 가지 결과 구조를 모두 확인합니다.
  2. 선별: 관련 동영상을 선택하고 ID와 URL을 저장합니다.
  3. 댓글 수집: URL을 댓글 엔드포인트에 전달하고, 페이지를 계속 가져올 때는 반환된 커서를 사용합니다.
  4. 검증: 원본 JSON을 저장하고 응답에서 실제 필드 이름을 확인합니다.
  5. 분석: 스키마를 확인한 뒤 텍스트를 그룹화하고, 예시를 사람에게 검토하도록 전달합니다.
도식: TikTok 동영상 검색, 동영상 선별, 댓글 요청, 원본 JSON 저장, 구조 검증, 수동 주제 분류
응답 전체를 먼저 저장하고, 실제 필드를 확인한 다음 정규화를 추가하세요.

사용할 엔드포인트

TikTok Scraper API 문서에는 필수 매개변수 keyword를 사용하는 GET /searchVideo가 설명되어 있습니다. 추가 매개변수에는 count, cursor, date_posted, sort_by, region이 포함됩니다. 댓글에는 필수 매개변수 video_url을 사용하는 GET /getCommentsByUrl이 있으며, 추가 매개변수로 cursor, count, region이 있습니다. 키는 license_key 매개변수로 전달합니다.

검색 응답의 동영상은 tiktok.aweme_list 또는 tiktok.search_item_list[].aweme_info에 들어 있을 수 있습니다. 예제는 두 형식을 모두 처리하고 외부 상태를 확인한 뒤 찾은 객체를 저장합니다. 댓글 응답에 대해서는 배열 이름이나 필드 이름을 미리 가정하지 않습니다. 대신 받은 JSON을 저장하고 출력해 확인할 수 있도록 합니다.

간단한 Python 수집기

이 코드는 Python 3.8 이상과 호환됩니다. requests를 설치하고 환경 변수 JSONSCRAPER_TIKTOK_LICENSE_KEY에 키를 설정하세요. 스크립트는 검색 응답과 댓글 응답을 별도의 JSON 파일에 기록하고, 각 댓글 응답을 검색어 및 동영상 URL과 연결합니다. 실제 응답 구조를 확인하기 전까지 댓글 필드는 의도적으로 추출하지 않습니다.

TikTok 댓글을 제품 버그 분류 대기열로 바꾸는 방법에 관한 글
요약: Python 파이프라인으로 TikTok 동영상 검색과 jsonscraper를 통한 댓글 요청을 연결합니다. 예제는 댓글 필드 이름을 미리 가정하지 않고 원본 JSON을 저장하고 출력합니다.
이미지 역할: 표지 — 핵심 아이디어
섹션: 간단한 Python 수집기
시각적 주제: 제품 팀을 위해 동영상 URL과 댓글을 나타내는 카드 옆에 인쇄된 원본 JSON 응답을 배치한 에디토리얼 다큐멘터리 사진
원본 응답을 보존하면 정규화 전에 구조를 확인할 수 있습니다.© jsonscraper · AI로 생성
import json
import os
from pathlib import Path

import requests

BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)


def get_json(path, params):
    response = requests.get(
        BASE + path,
        params={**params, "license_key": KEY},
        timeout=30,
    )
    response.raise_for_status()
    data = response.json()
    if data.get("status") != "ok":
        raise RuntimeError("API returned non-ok status")
    return data


def videos_from_search(data):
    tiktok = data.get("tiktok") or {}
    found = list(tiktok.get("aweme_list") or [])
    for item in tiktok.get("search_item_list") or []:
        aweme = (item or {}).get("aweme_info") or {}
        if aweme:
            found.append(aweme)

    unique = {}
    for video in found:
        video_id = video.get("aweme_id")
        video_url = video.get("share_url")
        if video_id and video_url:
            unique[video_id] = video
    return list(unique.values())


for index, keyword in enumerate(("APP_NAME 오류", "APP_NAME 작동 안 함")):
    search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
    (OUT / f"search_{index}.json").write_text(
        json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
    )

    for video in videos_from_search(search):
        video_id = video["aweme_id"]
        video_url = video["share_url"]
        comments = get_json(
            "/getCommentsByUrl",
            {"video_url": video_url, "count": 30},
        )
        filename = f"comments_{video_id}.json"
        record = {
            "keyword": keyword,
            "video_id": video_id,
            "video_url": video_url,
            "response": comments,
        }
        (OUT / filename).write_text(
            json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
        )
        print(json.dumps(record, ensure_ascii=False, indent=2))

스크립트는 외부 응답 상태를 확인한 다음 전체 JSON 객체를 기록합니다. 따라서 댓글 테이블을 만들기 전에 실제 키, 값의 유형, 중첩 구조를 살펴볼 수 있습니다. API가 오류를 반환하면 코드는 잘못된 결과를 조용히 저장하지 않고 중단되어 오류를 알립니다.

원본 JSON에서 주제 분류 대기열로

응답을 하나 이상 확인한 다음 실제로 발견된 스키마에 맞춰 정규화기를 작성하세요. 변환을 검증하고 코드가 바뀔 때 데이터를 다시 처리할 수 있도록, 정규화한 행과 함께 원본 JSON도 보관하세요. 레코드에는 동영상 링크, 원본 댓글, 수집 시각, 적용한 분류 규칙 버전을 남기는 것이 좋습니다.

주제 분류는 ‘오류’, ‘사용 방법 질문’, ‘기능 요청’, ‘피드백’, ‘제품과 무관함’ 같은 라벨로 시작할 수 있습니다. 키워드 규칙이나 분류기를 이용하면 데이터를 정렬할 수 있습니다. 부여한 라벨은 원본 텍스트와 별도로 저장하세요. 작업을 생성하기 전에 담당자가 댓글 맥락과 원본 동영상을 확인해야 합니다.

중복을 제거할 때는 응답에서 ID 필드가 실제로 확인된 뒤에만 사용하세요. 데이터에 ID가 없다면 동영상 URL과 정규화된 텍스트를 조합해 임시 키로 삼을 수 있습니다. 이 방법은 한 동영상 안에서 같은 표현을 묶어 주지만, 해당 레코드가 같은 작성자의 것임을 입증하지는 않습니다.

자동화와 데이터 출처 추적

cron, GitHub Actions 또는 n8n을 이용해 수집을 예약 실행하세요. 실행 환경의 비밀 저장소에 키를 보관하고 저장소, 결과 파일, 로그에는 넣지 마세요. 원본 JSON 응답은 검토할 수 있도록 보관하고, 팀의 요구 사항과 적용되는 플랫폼 규칙에 따라 보존 기간과 접근 권한을 정하세요.

파이프라인 상태를 확인하려면 성공한 검색 요청 수, 발견한 고유 동영상 수, 저장한 댓글 응답 수, API 오류 수를 기록하세요. 이런 기술 지표로 결과가 어느 단계에서 달라졌는지 확인할 수 있습니다. 빈 응답, 요청 오류, 주제 분류 후 일치 항목이 없는 경우는 서로 다른 상태이므로 구분해 저장하세요.

데이터베이스에서는 수집 작업, 동영상, 원본 댓글 응답, 주제 분류 결정을 별도 엔터티로 나누는 것이 편리합니다. 검색어 및 동영상과의 관계를 유지하면 수동 검토를 위해 출처를 열어 볼 수 있습니다. 스키마를 확인한 뒤에는 커서 기반 페이지 처리를 추가할 수 있습니다. 엔드포인트는 cursor를 받으며, 다음 요청에는 반환된 값을 해석하려 하지 말고 그대로 전달해야 합니다.

이 접근 방식의 이점

팀은 주제 분류 대기열을 만들 수 있는 반복 가능하고 검증 가능한 수집 프로세스를 갖게 됩니다. 분석가는 어떤 검색어가 동영상으로 이어졌고 어떤 댓글 응답이 저장되었는지 추적할 수 있습니다. 구조를 확인한 뒤에는 알 수 없는 스키마를 추측으로 대체하지 않고 정규화와 주제별 그룹화를 추가할 수 있습니다.

보고서에는 검색어, 실행 날짜, 선별 기준, 처리한 응답 수를 기록하세요. 결론은 구체적인 검색어와 반환된 데이터에 관한 것입니다. 이러한 정보는 발견된 논의를 조사하고 검토를 계획하는 데 도움이 되며, 데이터의 출처와 맥락도 보존합니다.

제품 하나와 진단용 검색어 몇 개로 시작하세요. 응답을 저장하고 댓글 구조를 확인한 다음, 확인된 필드만 정규화기에 추가합니다. 엔드포인트 매개변수는 API 문서에 설명되어 있으며, 제품 정보는 TikTok Scraper API 페이지에서 확인할 수 있습니다.

사람들

아직 이 기사에 등록된 사람이 없습니다.

계속 읽으세요틱톡에서 제품 관련 반복 질문 찾기
다음 기사 읽기

읽은 내용을 실제 연동으로 구현하세요

jsonscraper 소셜 데이터 API를 살펴보고 요청을 테스트하여 다음 워크플로를 구축하세요.

API 둘러보기