jsonscraper
市场
返回期刊

如何将 TikTok 评论转化为产品缺陷待办队列

收集检索到的视频下的公开评论,并保存原始 JSON,以便在进行主题标注前核实响应的实际结构。

编辑政策 报告错误

要研究 TikTok 上关于某个问题的讨论,先找到相关视频,再请求每个选定视频下的评论。对产品团队而言,结果可以是一组原始 JSON 响应,并关联相应的搜索词和视频链接。在建立主题待办队列之前,请先核实评论的实际结构:文档说明了请求路径及其参数,但没有描述响应中每条记录的字段。

这是分析流程中的重要环节。搜索结果有助于收集产品相关背景,而评论可能包含故障反馈、问题或变通用法。要让分类以真实数据为依据,应先原样保存 API 响应,再根据实际收到的结构核对字段。

为什么仅搜索视频还不够

应用或设备名称有助于找到视频,但视频说明主要反映发布者的表述。观众可能会在评论中讨论具体故障和使用方式。因此,采集评论能为搜索结果增加第二层与原视频相关联的数据。

此前的内容探讨过 TikTok 搜索监控、从说明中提取问题,以及处理搜索响应。本文的任务更具体:收集评论请求的响应,并在开发分类功能前核实其结构。这对分析集成开发者、用户体验研究人员和支持团队都有帮助。

从搜索词到可核查的数据集

设置几个具体的搜索词,例如将产品名称与功能或型号名称组合起来。保存搜索响应和所选视频的 URL。随后按 URL 请求评论,并分别保存每个原始响应。核实结构后,就可以规范化所需字段、删除重复项并按主题对文本分组。

文章:如何将 TikTok 评论转化为产品缺陷待办队列
摘要:这个 Python 流程通过 jsonscraper 将 TikTok 视频搜索与评论请求串联起来。示例会保存并输出原始 JSON,不会预先假定评论字段的名称。
图片用途:辅助插图 2——展示另一个具体方面
章节:从搜索词到可核查的数据集
视觉主题:俄语流程信息图,展示关键词搜索 → 选择视频 → 请求评论
该流程图区分了有文档说明的采集步骤,以及核实实际响应后再进行的规范化处理。© jsonscraper · AI 生成插图
  1. 搜索:按关键词请求视频,并检查结果是否采用两种受支持的结构。
  2. 筛选:选出相关视频,并保存其标识符和 URL。
  3. 采集评论:将 URL 传入评论请求路径;继续分页时使用返回的游标。
  4. 核实:保存原始 JSON,并根据响应确认实际字段名称。
  5. 分析:核实结构后对文本分组,并将样本交由人工检查。
流程图:搜索 TikTok 视频、筛选视频、请求评论、保存原始 JSON、核实结构并进行人工主题标注
先完整保存响应;核实实际字段后再添加规范化处理。

使用哪些请求路径

TikTok Scraper API 文档说明了 GET /searchVideo,其必需参数为 keyword。其他参数包括 count、cursor、date_posted、sort_by 和 region。评论请求使用 GET /getCommentsByUrl,必需参数为 video_url;文档列出的其他参数包括 cursor、count 和 region。密钥通过 license_key 参数传递。

搜索响应中的视频可能位于 tiktok.aweme_list,也可能位于 tiktok.search_item_list[].aweme_info。示例会处理这两种形式、检查外层状态,并保存找到的对象。对于评论响应,示例不会假定数组名称或字段名称,而是保存并输出收到的 JSON,以便检查。

用 Python 编写的最小采集器

代码兼容 Python 3.8 及更高版本。请安装 requests,并将密钥设置在环境变量 JSONSCRAPER_TIKTOK_LICENSE_KEY 中。脚本会把搜索响应和评论响应分别写入 JSON 文件,并将每条评论响应与搜索词及视频 URL 关联起来。在核实响应的实际结构之前,代码不会提取评论字段。

文章:如何将 TikTok 评论转化为产品缺陷待办队列
摘要:这个 Python 流程通过 jsonscraper 将 TikTok 视频搜索与评论请求串联起来。示例会保存并输出原始 JSON,不会预先假定评论字段的名称。
图片用途:封面——核心概念
章节:用 Python 编写的最小采集器
视觉主题:编辑纪实风格照片,展示产品团队旁边摆放的打印版原始 JSON 响应,以及代表视频 URL 和评论的卡片
原始响应可保留初始数据,以便在规范化前核实结构。© jsonscraper · AI 生成
import json
import os
from pathlib import Path

import requests

BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)


def get_json(path, params):
    response = requests.get(
        BASE + path,
        params={**params, "license_key": KEY},
        timeout=30,
    )
    response.raise_for_status()
    data = response.json()
    if data.get("status") != "ok":
        raise RuntimeError("API returned non-ok status")
    return data


def videos_from_search(data):
    tiktok = data.get("tiktok") or {}
    found = list(tiktok.get("aweme_list") or [])
    for item in tiktok.get("search_item_list") or []:
        aweme = (item or {}).get("aweme_info") or {}
        if aweme:
            found.append(aweme)

    unique = {}
    for video in found:
        video_id = video.get("aweme_id")
        video_url = video.get("share_url")
        if video_id and video_url:
            unique[video_id] = video
    return list(unique.values())


for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
    search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
    (OUT / f"search_{index}.json").write_text(
        json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
    )

    for video in videos_from_search(search):
        video_id = video["aweme_id"]
        video_url = video["share_url"]
        comments = get_json(
            "/getCommentsByUrl",
            {"video_url": video_url, "count": 30},
        )
        filename = f"comments_{video_id}.json"
        record = {
            "keyword": keyword,
            "video_id": video_id,
            "video_url": video_url,
            "response": comments,
        }
        (OUT / filename).write_text(
            json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
        )
        print(json.dumps(record, ensure_ascii=False, indent=2))

脚本会检查外层响应状态,然后写入完整的 JSON 对象。这样便可以检查实际的键、值类型和嵌套结构,再构建评论表。如果 API 返回错误,代码会停止并报告错误,而不是悄悄保存无效结果。

如何从原始 JSON 转向主题待办队列

检查一个或多个响应后,应根据实际发现的结构编写规范化程序。将原始 JSON 与规范化后的记录一同保存,以便核查转换过程,并在代码变更时重新处理数据。记录中最好保留视频链接、原始评论记录、采集时间,以及所用标注规则的版本。

主题标注可以从“错误”“使用问题”“功能请求”“反馈”和“与产品无关”等标签开始。关键词规则或分类器可以帮助整理样本;请将分配的标签与原始文本分开保存。创建任务前,工作人员应核查评论的上下文和原视频。

去重时,只有在确认响应中确实存在标识符字段后,才使用该字段。如果数据中没有标识符,可以暂时将视频 URL 与规范化文本组合成键;这种方法会合并同一视频下措辞相同的内容,但无法据此确定这些记录是否来自同一作者。

自动化与数据溯源

可以通过 cron、GitHub Actions 或 n8n 按计划运行采集任务。将密钥保存在运行环境的机密配置中,不要将其写入代码库、结果文件或日志。保留可供检查的原始 JSON 响应;并根据团队要求及适用的平台规则设置数据保留期限和访问权限。

为了监控流程运行情况,请记录成功的搜索请求数、找到的唯一视频数、保存的评论响应数以及 API 错误数。这些技术指标能够显示结果在哪个环节发生变化。空响应、请求错误,以及主题分类后没有匹配项,是不同的状态,应分别记录。

数据库中可以将采集任务、视频、原始评论响应和主题标注结果拆分为不同实体。通过关联搜索词和视频,可以打开来源进行人工核查。核实结构后,还可以加入基于游标的分页:请求路径接受 cursor,后续请求应原样传递 API 返回的值,而不要尝试解读它。

这种方法的价值

团队可以获得一套可重复的采集流程,以及一组可核查的来源数据,并据此建立主题待办队列。分析人员能够追溯哪个搜索词带来了某个视频,以及保存了哪条评论响应。核实结构后,开发者就可以加入规范化和主题分组,而不必凭空假设未知的数据结构。

报告中应注明搜索词、运行日期、筛选标准和处理的响应数量。结论只适用于具体搜索词和返回的数据;它们有助于研究发现的讨论、规划后续核查,同时保留数据来源和上下文。

可以先从一个产品和几个诊断性搜索词开始:保存响应,核实评论结构,然后只将已确认的字段加入规范化程序。请求路径的参数见 API 文档,产品信息则见 TikTok Scraper API 页面。

人们

尚未列出本文的人员。

继续阅读如何发现 TikTok 上反复出现的产品问题
阅读下一篇文章

将阅读内容转化为可用的集成

探索 jsonscraper 社交数据 API、测试请求并构建下一个工作流。

查看 API