要研究 TikTok 上关于某个问题的讨论,先找到相关视频,再请求每个选定视频下的评论。对产品团队而言,结果可以是一组原始 JSON 响应,并关联相应的搜索词和视频链接。在建立主题待办队列之前,请先核实评论的实际结构:文档说明了请求路径及其参数,但没有描述响应中每条记录的字段。
这是分析流程中的重要环节。搜索结果有助于收集产品相关背景,而评论可能包含故障反馈、问题或变通用法。要让分类以真实数据为依据,应先原样保存 API 响应,再根据实际收到的结构核对字段。
为什么仅搜索视频还不够
应用或设备名称有助于找到视频,但视频说明主要反映发布者的表述。观众可能会在评论中讨论具体故障和使用方式。因此,采集评论能为搜索结果增加第二层与原视频相关联的数据。
此前的内容探讨过 TikTok 搜索监控、从说明中提取问题,以及处理搜索响应。本文的任务更具体:收集评论请求的响应,并在开发分类功能前核实其结构。这对分析集成开发者、用户体验研究人员和支持团队都有帮助。
从搜索词到可核查的数据集
设置几个具体的搜索词,例如将产品名称与功能或型号名称组合起来。保存搜索响应和所选视频的 URL。随后按 URL 请求评论,并分别保存每个原始响应。核实结构后,就可以规范化所需字段、删除重复项并按主题对文本分组。

- 搜索:按关键词请求视频,并检查结果是否采用两种受支持的结构。
- 筛选:选出相关视频,并保存其标识符和 URL。
- 采集评论:将 URL 传入评论请求路径;继续分页时使用返回的游标。
- 核实:保存原始 JSON,并根据响应确认实际字段名称。
- 分析:核实结构后对文本分组,并将样本交由人工检查。
使用哪些请求路径
TikTok Scraper API 文档说明了 GET /searchVideo,其必需参数为 keyword。其他参数包括 count、cursor、date_posted、sort_by 和 region。评论请求使用 GET /getCommentsByUrl,必需参数为 video_url;文档列出的其他参数包括 cursor、count 和 region。密钥通过 license_key 参数传递。
搜索响应中的视频可能位于 tiktok.aweme_list,也可能位于 tiktok.search_item_list[].aweme_info。示例会处理这两种形式、检查外层状态,并保存找到的对象。对于评论响应,示例不会假定数组名称或字段名称,而是保存并输出收到的 JSON,以便检查。
用 Python 编写的最小采集器
代码兼容 Python 3.8 及更高版本。请安装 requests,并将密钥设置在环境变量 JSONSCRAPER_TIKTOK_LICENSE_KEY 中。脚本会把搜索响应和评论响应分别写入 JSON 文件,并将每条评论响应与搜索词及视频 URL 关联起来。在核实响应的实际结构之前,代码不会提取评论字段。

import json
import os
from pathlib import Path
import requests
BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
(OUT / f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT / filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
脚本会检查外层响应状态,然后写入完整的 JSON 对象。这样便可以检查实际的键、值类型和嵌套结构,再构建评论表。如果 API 返回错误,代码会停止并报告错误,而不是悄悄保存无效结果。
如何从原始 JSON 转向主题待办队列
检查一个或多个响应后,应根据实际发现的结构编写规范化程序。将原始 JSON 与规范化后的记录一同保存,以便核查转换过程,并在代码变更时重新处理数据。记录中最好保留视频链接、原始评论记录、采集时间,以及所用标注规则的版本。
主题标注可以从“错误”“使用问题”“功能请求”“反馈”和“与产品无关”等标签开始。关键词规则或分类器可以帮助整理样本;请将分配的标签与原始文本分开保存。创建任务前,工作人员应核查评论的上下文和原视频。
去重时,只有在确认响应中确实存在标识符字段后,才使用该字段。如果数据中没有标识符,可以暂时将视频 URL 与规范化文本组合成键;这种方法会合并同一视频下措辞相同的内容,但无法据此确定这些记录是否来自同一作者。
自动化与数据溯源
可以通过 cron、GitHub Actions 或 n8n 按计划运行采集任务。将密钥保存在运行环境的机密配置中,不要将其写入代码库、结果文件或日志。保留可供检查的原始 JSON 响应;并根据团队要求及适用的平台规则设置数据保留期限和访问权限。
为了监控流程运行情况,请记录成功的搜索请求数、找到的唯一视频数、保存的评论响应数以及 API 错误数。这些技术指标能够显示结果在哪个环节发生变化。空响应、请求错误,以及主题分类后没有匹配项,是不同的状态,应分别记录。
数据库中可以将采集任务、视频、原始评论响应和主题标注结果拆分为不同实体。通过关联搜索词和视频,可以打开来源进行人工核查。核实结构后,还可以加入基于游标的分页:请求路径接受 cursor,后续请求应原样传递 API 返回的值,而不要尝试解读它。
这种方法的价值
团队可以获得一套可重复的采集流程,以及一组可核查的来源数据,并据此建立主题待办队列。分析人员能够追溯哪个搜索词带来了某个视频,以及保存了哪条评论响应。核实结构后,开发者就可以加入规范化和主题分组,而不必凭空假设未知的数据结构。
报告中应注明搜索词、运行日期、筛选标准和处理的响应数量。结论只适用于具体搜索词和返回的数据;它们有助于研究发现的讨论、规划后续核查,同时保留数据来源和上下文。
可以先从一个产品和几个诊断性搜索词开始:保存响应,核实评论结构,然后只将已确认的字段加入规范化程序。请求路径的参数见 API 文档,产品信息则见 TikTok Scraper API 页面。