لدراسة النقاش حول مشكلة ما على TikTok، ابحث أولًا عن المقاطع المناسبة، ثم اطلب التعليقات لكل فيديو تختاره. وقد تكون النتيجة لفريق المنتجات مجموعة من استجابات JSON الخام المرتبطة بطلب البحث ورابط المقطع. تحقّق من البنية الفعلية للتعليقات قبل إنشاء قائمة بالموضوعات: فالوثائق تؤكد المسار ومعاملاته، لكنها لا تصف حقول السجلات في الاستجابة.
هذه خطوة مهمة في مسار التحليلات. تساعد نتائج البحث على جمع سياق حول المنتج، وقد تتضمن التعليقات تقارير عن أخطاء أو أسئلة أو طرقًا بديلة للاستخدام. ولكي يستند التصنيف إلى بيانات فعلية، احفظ استجابة API أولًا دون تحويل، ثم طابق الحقول مع المخطط الذي حصلت عليه بالفعل.
لماذا لا يكفي البحث عن مقاطع الفيديو؟
يساعد اسم التطبيق أو الجهاز في العثور على المقاطع، لكن وصف الفيديو يعكس بالدرجة الأولى صياغة صاحبه. وقد يناقش المشاهدون أعطالًا محددة وطرقًا لاستخدام المنتج في التعليقات. لذلك تضيف عملية جمع التعليقات مستوى ثانيًا من البيانات إلى عينة البحث، مرتبطًا بالمقطع الأصلي.
تناولت مواد سابقة مراقبة البحث على TikTok، واستخراج الأسئلة من الأوصاف، ومعالجة استجابات البحث. أما المهمة هنا فأضيق نطاقًا: جمع استجابات مسار التعليقات والتحقق من بنيتها قبل تطوير التصنيف. وهذا مفيد لمطوري تكاملات التحليلات، وباحثي تجربة المستخدم، وفرق الدعم.
من عبارة البحث إلى مجموعة بيانات قابلة للتحقق
حدّد عدة استعلامات دقيقة، مثل اسم المنتج مع اسم ميزة أو طراز. احفظ استجابة البحث وعناوين URL لمقاطع الفيديو المختارة. ثم اطلب التعليقات باستخدام عناوين URL، مع حفظ كل استجابة خام في ملف منفصل. وبعد التحقق من المخطط، يمكنك توحيد الحقول المطلوبة وحذف التكرارات وتجميع النصوص حسب الموضوع.

- البحث: اطلب مقاطع فيديو باستخدام عبارة مفتاحية، وتحقق من بنية النتيجة المدعومة في الشكلين.
- الاختيار: اختر المقاطع ذات الصلة واحفظ معرّفاتها وعناوين URL الخاصة بها.
- جمع التعليقات: مرّر عنوان URL إلى مسار التعليقات؛ ولمواصلة الترقيم الصفحي، استخدم المؤشر المُعاد.
- التحقق: احفظ JSON الخام واستخرج أسماء الحقول الفعلية من الاستجابة.
- التحليل: بعد التحقق من المخطط، جمّع النصوص وأحِل أمثلة منها إلى شخص لمراجعتها.
ما المسارات التي ينبغي استخدامها؟
تصف وثائق TikTok Scraper API المسار GET \/searchVideo الذي يتطلب المعامل keyword. وتشمل المعاملات الإضافية count وcursor وdate_posted وsort_by وregion. أما التعليقات، فيخصص لها المسار GET \/getCommentsByUrl الذي يتطلب video_url؛ وتشمل المعاملات الإضافية المذكورة cursor وcount وregion. ويُمرر المفتاح عبر المعامل license_key.
قد تكون مقاطع الفيديو في استجابة البحث ضمن tiktok.aweme_list أو tiktok.search_item_list[].aweme_info. ويتعامل المثال مع كلا الشكلين، ويتحقق من الحالة الخارجية، ويحفظ العناصر التي يعثر عليها. أما استجابة التعليقات، فلا يفترض لها اسم مصفوفة أو أسماء حقول؛ بل يحفظ JSON المستلَم ويعرضه حتى يتسنى التحقق منه.
أداة جمع بسيطة بلغة Python
يتوافق الكود مع Python 3.8 والإصدارات الأحدث. ثبّت requests وضع المفتاح في متغير البيئة JSONSCRAPER_TIKTOK_LICENSE_KEY. يكتب البرنامج النصي استجابات البحث والتعليقات في ملفات JSON منفصلة، ويربط كل استجابة تعليقات بطلب البحث وعنوان URL للفيديو. ولا يستخرج حقول التعليقات عمدًا قبل التحقق من البنية الفعلية للاستجابة.

import json
import os
from pathlib import Path
import requests
BASE = "https:\/\/tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("\/searchVideo", {"keyword": keyword, "count": 10})
(OUT \/ f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"\/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT \/ filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
يتحقق البرنامج النصي من الحالة الخارجية للاستجابة، ثم يكتب كائن JSON كاملًا. ويتيح ذلك فحص المفاتيح الفعلية وأنواع القيم ومستويات التداخل قبل إنشاء جدول للتعليقات. وإذا أعادت API خطأً، يتوقف الكود ويبلّغ عنه بدلًا من حفظ نتيجة غير سليمة بصمت.
من JSON الخام إلى قائمة بالموضوعات
بعد التحقق من استجابة واحدة أو أكثر، أنشئ أداة لتوحيد البيانات وفق المخطط المكتشف فعليًا. احتفظ بملف JSON الأصلي إلى جانب الصفوف الموحّدة، حتى تتمكن من التحقق من التحويل وإعادة معالجة البيانات إذا تغير الكود. ومن المفيد أن يتضمن السجل رابط المقطع، وسجل التعليق الأصلي، ووقت الجمع، وإصدار قاعدة التصنيف المستخدمة.
يمكن البدء في التصنيف الموضوعي بوسوم مثل «خطأ» و«سؤال عن الاستخدام» و«طلب ميزة» و«ملاحظات» و«لا يتعلق بالمنتج». تساعد قواعد الكلمات المفتاحية أو أداة التصنيف على فرز العينة؛ واحفظ الوسم المسند منفصلًا عن النص الأصلي. وقبل إنشاء مهمة، ينبغي لمتخصص مراجعة سياق التعليق والمقطع الأصلي.
عند إزالة التكرارات، استخدم حقل المعرّف فقط بعد التأكد من وجوده في الاستجابة. وإذا لم يتوفر معرّف في البيانات، فيمكن استخدام عنوان URL للفيديو والنص الموحّد معًا كمفتاح مؤقت؛ وهذا الأسلوب يجمع الصياغات المتطابقة ضمن المقطع نفسه، لكنه لا يثبت أن السجلات تعود إلى المؤلف نفسه.
الأتمتة ومصدر البيانات
شغّل عملية الجمع وفق جدول زمني باستخدام cron أو GitHub Actions أو n8n. واحفظ المفتاح ضمن أسرار بيئة التشغيل، ولا تضعه في مستودع الشيفرة أو ملفات النتائج أو السجلات. أَبقِ استجابات JSON الأصلية متاحة للتحقق، وحدد مدة الاحتفاظ بها وصلاحيات الوصول وفق متطلبات فريقك والقواعد المعمول بها على المنصة.
لمراقبة عمل مسار البيانات، سجّل عدد طلبات البحث الناجحة، ومقاطع الفيديو الفريدة التي عُثر عليها، واستجابات التعليقات المحفوظة، وأخطاء API. توضح هذه المؤشرات التقنية المرحلة التي تغيرت عندها النتيجة. فالاستجابة الفارغة، وخطأ الطلب، وعدم العثور على نتائج بعد التصنيف الموضوعي حالات مختلفة؛ لذا احفظ كلًا منها على حدة.
من الملائم في قاعدة البيانات فصل كيانات الجمع، والفيديوهات، واستجابات التعليقات الخام، وقرارات التصنيف الموضوعي. وتتيح الصلة بطلب البحث والفيديو فتح المصدر للمراجعة اليدوية. وبعد تأكيد المخطط، يمكنك إضافة الترقيم الصفحي باستخدام المؤشر: يقبل المسار cursor، وينبغي أن يمرر الطلب التالي القيمة التي أعادتها API دون محاولة تفسيرها.
ما الذي يحققه هذا النهج؟
تحصل الفرق على عملية جمع قابلة للتكرار ومجموعة مصادر قابلة للتحقق، يمكن بناء قائمة بالموضوعات انطلاقًا منها. ويستطيع المحلل تتبع طلب البحث الذي قاد إلى المقطع واستجابة التعليقات التي حُفظت. وبعد التحقق من البنية، يمكن للمطور إضافة توحيد البيانات وتجميع الموضوعات دون استبدال المخطط المجهول بافتراضات.
اذكر في التقرير عبارات البحث وتاريخ التشغيل ومعايير الاختيار وعدد الاستجابات التي عولجت. وتتعلق النتائج بطلبات محددة وبالبيانات التي أُعيدت؛ وهي تساعد على دراسة النقاشات المكتشفة والتخطيط لمراجعتها، مع الحفاظ على مصدرها وسياقها.
ابدأ بمنتج واحد وعدد قليل من استعلامات التشخيص: احفظ الاستجابات، وتحقق من بنية التعليقات، ثم أضف إلى أداة توحيد البيانات الحقول التي تأكدت منها فقط. وترد معلمات المسارات في وثائق API، بينما تتوفر معلومات المنتج على صفحة TikTok Scraper API.