Чтобы изучить обсуждение проблемы в TikTok, сначала найдите подходящие ролики, затем запросите комментарии к каждому выбранному видео. Для продуктовой команды результатом может стать набор исходных ответов JSON, связанных с запросом и ссылкой на ролик. Перед тем как строить очередь тем, проверьте фактическую структуру комментариев: документация подтверждает маршрут и его параметры, но не описывает поля записей в ответе.
Это важный этап для аналитического пайплайна. Поисковая выдача помогает собрать контекст вокруг продукта, а комментарии могут содержать сообщения об ошибках, вопросы или обходные сценарии. Чтобы классификация опиралась на реальные данные, сначала сохраните ответ API без преобразования, а затем сопоставьте поля с фактически полученной схемой.
Почему поиска видео недостаточно
Название приложения или устройства помогает найти ролики, но описание видео показывает прежде всего формулировку автора. Зрители могут обсуждать конкретные неисправности и способы использования в комментариях. Поэтому сбор комментариев добавляет к поисковой выборке второй уровень данных, связанный с исходным роликом.
В прежних материалах рассматривались мониторинг поиска TikTok, извлечение вопросов из описаний и обработка поисковых ответов. Здесь задача уже: собрать ответы маршрута комментариев и проверить их структуру, прежде чем разрабатывать классификацию. Это полезно разработчикам аналитических интеграций, исследователям пользовательского опыта и командам поддержки.
От поисковой фразы к проверяемому набору данных
Задайте несколько конкретных запросов, например название продукта вместе с названием функции или модели. Сохраните ответ поиска и URL выбранных видео. Затем запросите комментарии по URL, сохранив каждый исходный ответ отдельно. После проверки схемы можно нормализовать нужные поля, удалять дубли и группировать тексты по темам.

- Поиск: запросить видео по ключевой фразе и проверить обе поддерживаемые структуры результата.
- Отбор: выбрать релевантные ролики и сохранить их идентификаторы и URL.
- Сбор комментариев: передать URL в маршрут комментариев; для продолжения пагинации использовать возвращённый курсор.
- Проверка: сохранить сырой JSON и установить фактические названия полей по ответу.
- Анализ: после проверки схемы сгруппировать тексты и передать примеры человеку на проверку.
Какие маршруты использовать
Документация TikTok Scraper API описывает GET /searchVideo с обязательным параметром keyword. Дополнительные параметры включают count, cursor, date_posted, sort_by и region. Для комментариев предусмотрен GET /getCommentsByUrl с обязательным video_url; среди дополнительных параметров указаны cursor, count и region. Ключ передаётся в параметре license_key.
В поисковом ответе видео могут находиться в tiktok.aweme_list или в tiktok.search_item_list[].aweme_info. Пример обрабатывает обе формы, проверяет внешний статус и сохраняет найденные объекты. Для ответа комментариев он не предполагает ни имя массива, ни названия полей: сохраняет и выводит полученный JSON, чтобы его можно было проверить.
Минимальный сборщик на Python
Код совместим с Python 3.8+. Установите requests и задайте ключ в переменной окружения JSONSCRAPER_TIKTOK_LICENSE_KEY. Скрипт записывает ответы поиска и комментариев в отдельные JSON-файлы, связывая каждый комментарийный ответ с запросом и URL видео. Поля комментариев намеренно не извлекаются, пока вы не проверите фактическую структуру ответа.

import json
import os
from pathlib import Path
import requests
BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
(OUT / f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT / filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
Скрипт проверяет внешний статус ответа и затем записывает полный объект JSON. Это даёт возможность осмотреть реальные ключи, типы значений и вложенность, прежде чем строить таблицу комментариев. Если API вернул ошибку, код останавливается и сообщает о ней вместо того, чтобы молча сохранить некорректный результат.
Как перейти от сырого JSON к очереди тем
После проверки одного или нескольких ответов составьте нормализатор по фактически обнаруженной схеме. Сохраняйте исходный JSON рядом с нормализованными строками, чтобы можно было проверить преобразование и повторно обработать данные при изменении кода. В записи полезно оставлять ссылку на ролик, исходную запись комментария, время сбора и применённую версию правила разметки.
Для тематической разметки можно начать с меток вроде «ошибка», «вопрос по использованию», «запрос функции», «отзыв» и «не относится к продукту». Правила по ключевым словам или классификатор помогают сортировать выборку; храните присвоенную метку отдельно от исходного текста. Перед созданием задачи специалист должен проверить контекст комментария и оригинальный ролик.
При дедупликации используйте поле идентификатора только после того, как подтвердите его в ответе. Если идентификатор в данных отсутствует, временным ключом может служить сочетание URL видео и нормализованного текста; такой способ объединяет совпадающие формулировки в пределах одного ролика, но не устанавливает, что записи принадлежат одному автору.
Автоматизация и происхождение данных
Запускайте сбор по расписанию через cron, GitHub Actions или n8n. Храните ключ в секретах среды выполнения и не включайте его в репозиторий, файлы результатов или журналы. Исходные JSON-ответы оставляйте доступными для проверки; задайте срок хранения и права доступа в соответствии с требованиями своей команды и применимыми правилами платформы.
Для контроля работы пайплайна записывайте число успешных поисковых запросов, найденных уникальных видео, сохранённых ответов комментариев и ошибок API. Эти технические показатели показывают, на каком этапе изменился результат. Пустой ответ, ошибка запроса и отсутствие совпадений после тематической классификации — разные состояния, поэтому сохраняйте их раздельно.
Для базы данных удобно разделить сущности сбора, видео, исходных ответов комментариев и решений тематической разметки. Связь с запросом и видео позволит открыть источник для ручной проверки. После подтверждения схемы можно добавить курсорную пагинацию: маршрут принимает cursor, а следующий запрос должен передавать возвращённое API значение без попытки интерпретировать его.
Что даёт такой подход
Команда получает повторяемый процесс сбора и проверяемый набор источников, из которого можно построить очередь тем. Аналитик может проследить, какой поисковый запрос привёл к ролику и какой ответ комментариев был сохранён. После проверки структуры разработчик сможет добавить нормализацию и тематическую группировку, не подменяя неизвестную схему предположениями.
В отчёте указывайте поисковые фразы, дату запуска, критерии отбора и количество обработанных ответов. Выводы относятся к конкретным запросам и возвращённым данным; они помогают исследовать обнаруженные обсуждения и планировать проверку, сохраняя их происхождение и контекст.
Начните с одного продукта и нескольких диагностических запросов: сохраните ответы, проверьте структуру комментариев, а затем добавьте только подтверждённые поля в нормализатор. Параметры маршрутов описаны в документации API, а сведения о продукте приведены на странице TikTok Scraper API.