Pour étudier les discussions autour d’un problème sur TikTok, commencez par trouver des vidéos pertinentes, puis récupérez les commentaires de chaque vidéo sélectionnée. Pour une équipe produit, le résultat peut être un ensemble de réponses JSON brutes associées à la requête et au lien de la vidéo. Avant de créer une file de sujets, vérifiez la structure réelle des commentaires : la documentation confirme la route et ses paramètres, mais ne décrit pas les champs des enregistrements renvoyés.
Cette étape est importante dans un pipeline d’analyse. Les résultats de recherche aident à recueillir du contexte autour d’un produit, tandis que les commentaires peuvent contenir des signalements de bugs, des questions ou des solutions de contournement. Pour fonder la classification sur les données réelles, enregistrez d’abord la réponse de l’API sans la transformer, puis comparez les champs au schéma effectivement reçu.
Pourquoi la recherche de vidéos ne suffit pas
Le nom d’une application ou d’un appareil aide à trouver des vidéos, mais leur description reflète avant tout la formulation de leur auteur. Les spectateurs peuvent discuter de problèmes précis et de façons d’utiliser le produit dans les commentaires. La collecte des commentaires ajoute donc un deuxième niveau de données à l’échantillon de recherche, lié à la vidéo d’origine.
Des articles précédents ont abordé la surveillance des recherches TikTok, l’extraction de questions à partir des descriptions et le traitement des réponses de recherche. Ici, l’objectif est plus ciblé : recueillir les réponses de la route des commentaires et en vérifier la structure avant de développer une classification. Cette démarche est utile aux développeurs d’intégrations analytiques, aux chercheurs en expérience utilisateur et aux équipes d’assistance.
De la requête de recherche à un jeu de données vérifiable
Définissez plusieurs requêtes précises, par exemple le nom du produit associé à celui d’une fonctionnalité ou d’un modèle. Enregistrez la réponse de recherche et les URL des vidéos sélectionnées. Récupérez ensuite les commentaires à partir des URL et enregistrez chaque réponse brute séparément. Après vérification du schéma, vous pourrez normaliser les champs nécessaires, supprimer les doublons et regrouper les textes par thème.

- Recherche : demander des vidéos à partir d’une expression clé et vérifier les deux structures de résultats prises en charge.
- Sélection : choisir les vidéos pertinentes et enregistrer leurs identifiants et leurs URL.
- Collecte des commentaires : transmettre l’URL à la route des commentaires ; pour poursuivre la pagination, utiliser le curseur renvoyé.
- Vérification : enregistrer le JSON brut et déterminer les noms réels des champs à partir de la réponse.
- Analyse : après vérification du schéma, regrouper les textes et soumettre des exemples à une vérification humaine.
Quelles routes utiliser
La documentation de TikTok Scraper API décrit GET \/searchVideo, avec le paramètre obligatoire keyword. Les paramètres facultatifs comprennent count, cursor, date_posted, sort_by et region. Pour les commentaires, la route GET \/getCommentsByUrl exige video_url ; ses paramètres facultatifs incluent cursor, count et region. La clé se transmet dans le paramètre license_key.
Dans la réponse de recherche, les vidéos peuvent se trouver dans tiktok.aweme_list ou dans tiktok.search_item_list[].aweme_info. L’exemple traite les deux formes, vérifie le statut externe et enregistre les objets trouvés. Pour la réponse des commentaires, il ne présume ni le nom du tableau ni celui des champs : il enregistre et affiche le JSON reçu afin qu’il puisse être vérifié.
Un collecteur minimal en Python
Le code est compatible avec Python 3.8 et les versions ultérieures. Installez requests et définissez la clé dans la variable d’environnement JSONSCRAPER_TIKTOK_LICENSE_KEY. Le script écrit les réponses de recherche et de commentaires dans des fichiers JSON distincts, en associant chaque réponse de commentaires à la requête et à l’URL de la vidéo. Les champs des commentaires ne sont volontairement pas extraits avant vérification de la structure réelle de la réponse.

import json
import os
from pathlib import Path
import requests
BASE = "https:\/\/tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("\/searchVideo", {"keyword": keyword, "count": 10})
(OUT \/ f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"\/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT \/ filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
Le script vérifie le statut externe de la réponse, puis écrit l’objet JSON complet. Il est ainsi possible d’examiner les clés réelles, les types de valeurs et la structure imbriquée avant de construire un tableau de commentaires. Si l’API renvoie une erreur, le code s’arrête et la signale au lieu d’enregistrer silencieusement un résultat incorrect.
Passer du JSON brut à une file de thèmes
Après avoir vérifié une ou plusieurs réponses, créez un normalisateur basé sur le schéma effectivement observé. Conservez le JSON d’origine à côté des lignes normalisées afin de pouvoir vérifier la transformation et retraiter les données si le code change. Il est utile de garder dans chaque enregistrement le lien de la vidéo, l’enregistrement du commentaire d’origine, l’heure de collecte et la version de la règle de catégorisation appliquée.
Pour la catégorisation thématique, vous pouvez commencer par des étiquettes telles que « bug », « question sur l’utilisation », « demande de fonctionnalité », « avis » et « sans rapport avec le produit ». Des règles fondées sur des mots-clés ou un classificateur peuvent aider à trier l’échantillon ; stockez l’étiquette attribuée séparément du texte d’origine. Avant de créer une tâche, un spécialiste doit vérifier le contexte du commentaire et la vidéo originale.
Pour dédupliquer, n’utilisez un champ d’identifiant qu’après l’avoir confirmé dans la réponse. Si les données ne comportent pas d’identifiant, une combinaison de l’URL de la vidéo et du texte normalisé peut servir de clé provisoire ; cette méthode regroupe les formulations identiques dans une même vidéo, mais ne permet pas d’établir que les enregistrements proviennent du même auteur.
Automatisation et provenance des données
Exécutez la collecte selon un calendrier avec cron, GitHub Actions ou n8n. Stockez la clé dans les secrets de l’environnement d’exécution et ne l’incluez ni dans le dépôt, ni dans les fichiers de résultats, ni dans les journaux. Gardez les réponses JSON brutes accessibles pour vérification ; définissez une durée de conservation et des droits d’accès conformes aux exigences de votre équipe et aux règles applicables de la plateforme.
Pour surveiller le fonctionnement du pipeline, consignez le nombre de requêtes de recherche réussies, de vidéos uniques trouvées, de réponses de commentaires enregistrées et d’erreurs de l’API. Ces indicateurs techniques montrent à quelle étape le résultat a changé. Une réponse vide, une erreur de requête et l’absence de correspondances après la classification thématique sont des états différents ; consignez-les séparément.
Pour la base de données, il est pratique de séparer les entités de collecte, de vidéo, de réponses brutes aux commentaires et de décisions de catégorisation thématique. Le lien avec la requête et la vidéo permettra d’ouvrir la source pour une vérification manuelle. Après confirmation du schéma, vous pourrez ajouter la pagination par curseur : la route accepte cursor, et la requête suivante doit transmettre la valeur renvoyée par l’API sans tenter de l’interpréter.
Ce que cette approche apporte
L’équipe dispose d’un processus de collecte reproductible et d’un ensemble de sources vérifiables à partir duquel elle peut créer une file de thèmes. L’analyste peut retracer la requête de recherche qui a mené à une vidéo et la réponse de commentaires qui a été enregistrée. Après vérification de la structure, le développeur pourra ajouter la normalisation et le regroupement thématique sans remplacer le schéma inconnu par des suppositions.
Dans le rapport, indiquez les expressions de recherche, la date d’exécution, les critères de sélection et le nombre de réponses traitées. Les conclusions portent sur les requêtes précises et les données renvoyées ; elles aident à étudier les discussions repérées et à planifier leur examen, tout en préservant leur provenance et leur contexte.
Commencez avec un seul produit et quelques requêtes de diagnostic : enregistrez les réponses, vérifiez la structure des commentaires, puis ajoutez au normalisateur uniquement les champs confirmés. Les paramètres des routes sont décrits dans la documentation de l’API, et les informations sur le produit figurent sur la page TikTok Scraper API.