כדי לחקור דיון על בעיה ב-TikTok, חפשו תחילה סרטונים מתאימים, ולאחר מכן בקשו תגובות לכל סרטון שנבחר. עבור צוות מוצר, התוצאה יכולה להיות אוסף של תשובות JSON גולמיות המקושרות לשאילתה ולכתובת הסרטון. לפני יצירת תור של נושאים, בדקו את המבנה בפועל של התגובות: התיעוד מאשר את הנתיב ואת הפרמטרים שלו, אך אינו מתאר את שדות הרשומות בתשובה.
זהו שלב חשוב בצינור עיבוד אנליטי. תוצאות החיפוש עוזרות לאסוף הקשר סביב המוצר, והתגובות עשויות לכלול דיווחי שגיאות, שאלות או דרכי עקיפה. כדי שהסיווג יתבסס על נתונים אמיתיים, שמרו תחילה את תשובת ה-API ללא שינוי, ואז השוו את השדות לסכמה שהתקבלה בפועל.
למה חיפוש סרטונים אינו מספיק
שם של אפליקציה או מכשיר עוזר למצוא סרטונים, אבל תיאור הסרטון משקף בעיקר את הניסוח של היוצר. צופים עשויים לדון בתקלות ובאופני שימוש מסוימים בתגובות. לכן, איסוף תגובות מוסיף לחיפוש שכבת נתונים נוספת הקשורה לסרטון המקורי.
חומרים קודמים עסקו בניטור חיפוש ב-TikTok, בחילוץ שאלות מתיאורים ובעיבוד תשובות חיפוש. כאן המשימה ממוקדת יותר: לאסוף תשובות מנתיב התגובות ולבדוק את המבנה שלהן לפני פיתוח סיווג. הדבר שימושי למפתחים של אינטגרציות אנליטיות, לחוקרי חוויית משתמש ולצוותי תמיכה.
מביטוי חיפוש למערך נתונים שאפשר לבדוק
הגדירו כמה שאילתות ממוקדות, למשל שם המוצר יחד עם שם של תכונה או דגם. שמרו את תשובת החיפוש ואת כתובות הסרטונים שנבחרו. לאחר מכן בקשו תגובות לפי כתובת הסרטון, ושמרו כל תשובה גולמית בנפרד. אחרי בדיקת הסכמה אפשר לנרמל את השדות הדרושים, להסיר כפילויות ולקבץ טקסטים לפי נושאים.

- חיפוש: בקשו סרטונים לפי ביטוי מפתח ובדקו את שתי התבניות הנתמכות של התוצאה.
- בחירה: בחרו סרטונים רלוונטיים ושמרו את המזהים ואת הכתובות שלהם.
- איסוף תגובות: העבירו את כתובת הסרטון לנתיב התגובות; להמשך העימוד השתמשו בסמן שהוחזר.
- בדיקה: שמרו את ה-JSON הגולמי וקבעו את שמות השדות בפועל לפי התשובה.
- ניתוח: לאחר בדיקת הסכמה, קבצו את הטקסטים והעבירו דוגמאות לבדיקה אנושית.
באילו נתיבים להשתמש
התיעוד של TikTok Scraper API מתאר את GET /searchVideo עם הפרמטר החובה keyword. הפרמטרים הנוספים כוללים את count, cursor, date_posted, sort_by ו-region. לתגובות יש את GET /getCommentsByUrl עם הפרמטר החובה video_url; בין הפרמטרים הנוספים מצוינים cursor, count ו-region. המפתח מועבר בפרמטר license_key.
בסרטונים בתשובת החיפוש עשויים להופיע תחת tiktok.aweme_list או תחת tiktok.search_item_list[].aweme_info. הדוגמה מטפלת בשתי התבניות, בודקת את סטטוס התשובה החיצוני ושומרת את האובייקטים שנמצאו. בתשובת התגובות היא אינה מניחה מהו שם המערך או מהם שמות השדות: היא שומרת ומציגה את ה-JSON שהתקבל, כדי שאפשר יהיה לבדוק אותו.
אוסף נתונים בסיסי ב-Python
הקוד תואם ל-Python 3.8 ומעלה. התקינו את requests והגדירו את המפתח במשתנה הסביבה JSONSCRAPER_TIKTOK_LICENSE_KEY. הסקריפט כותב את תשובות החיפוש והתגובות לקובצי JSON נפרדים, ומקשר כל תשובת תגובות לשאילתה ולכתובת הסרטון. בכוונה אין חילוץ של שדות תגובות לפני בדיקת מבנה התשובה בפועל.

import json
import os
from pathlib import Path
import requests
BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)
def get_json(path, params):
response = requests.get(
BASE + path,
params={**params, "license_key": KEY},
timeout=30,
)
response.raise_for_status()
data = response.json()
if data.get("status") != "ok":
raise RuntimeError("API returned non-ok status")
return data
def videos_from_search(data):
tiktok = data.get("tiktok") or {}
found = list(tiktok.get("aweme_list") or [])
for item in tiktok.get("search_item_list") or []:
aweme = (item or {}).get("aweme_info") or {}
if aweme:
found.append(aweme)
unique = {}
for video in found:
video_id = video.get("aweme_id")
video_url = video.get("share_url")
if video_id and video_url:
unique[video_id] = video
return list(unique.values())
for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
(OUT / f"search_{index}.json").write_text(
json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
)
for video in videos_from_search(search):
video_id = video["aweme_id"]
video_url = video["share_url"]
comments = get_json(
"/getCommentsByUrl",
{"video_url": video_url, "count": 30},
)
filename = f"comments_{video_id}.json"
record = {
"keyword": keyword,
"video_id": video_id,
"video_url": video_url,
"response": comments,
}
(OUT / filename).write_text(
json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
)
print(json.dumps(record, ensure_ascii=False, indent=2))
הסקריפט בודק את סטטוס התשובה החיצוני ואז כותב את אובייקט ה-JSON המלא. כך אפשר לבחון את המפתחות האמיתיים, את סוגי הערכים ואת המבנה המקונן לפני יצירת טבלת תגובות. אם ה-API מחזיר שגיאה, הקוד נעצר ומדווח עליה במקום לשמור בשקט תוצאה לא תקינה.
מ-JSON גולמי לתור נושאים
לאחר בדיקה של תשובה אחת או יותר, בנו מנרמל לפי הסכמה שהתגלתה בפועל. שמרו את ה-JSON המקורי לצד השורות המנורמלות, כדי שאפשר יהיה לבדוק את ההמרה ולעבד מחדש את הנתונים אם הקוד ישתנה. כדאי להשאיר ברשומה את כתובת הסרטון, הרשומה המקורית של התגובה, מועד האיסוף וגרסת כלל התיוג שהוחל.
אפשר להתחיל את התיוג לפי נושאים בתוויות כמו „שגיאה”, „שאלה על שימוש”, „בקשת תכונה”, „משוב” ו„לא קשור למוצר”. כללים המבוססים על מילות מפתח או מסווג יכולים לעזור במיון המדגם; שמרו את התווית שהוקצתה בנפרד מהטקסט המקורי. לפני יצירת משימה, מומחה צריך לבדוק את ההקשר של התגובה ואת הסרטון המקורי.
בעת הסרת כפילויות, השתמשו בשדה מזהה רק לאחר שאישרתם שהוא קיים בתשובה. אם אין בנתונים מזהה, צירוף של כתובת הסרטון וטקסט מנורמל יכול לשמש כמפתח זמני; שיטה זו מאחדת ניסוחים זהים בתוך אותו סרטון, אך אינה קובעת שהרשומות שייכות לאותו מחבר.
אוטומציה ומקור הנתונים
הריצו את האיסוף לפי לוח זמנים באמצעות cron, GitHub Actions או n8n. שמרו את המפתח בסודות של סביבת הריצה ואל תכללו אותו במאגר, בקובצי התוצאות או ביומנים. השאירו את תשובות ה-JSON הגולמיות זמינות לבדיקה; הגדירו תקופת שמירה והרשאות גישה בהתאם לדרישות הצוות שלכם ולכללי הפלטפורמה החלים.
כדי לנטר את פעולת צינור העיבוד, תעדו את מספר בקשות החיפוש שהצליחו, הסרטונים הייחודיים שנמצאו, תשובות התגובות שנשמרו ושגיאות ה-API. מדדים טכניים אלה מראים באיזה שלב השתנתה התוצאה. תשובה ריקה, שגיאת בקשה והיעדר התאמות לאחר סיווג לפי נושאים הם מצבים שונים, ולכן שמרו אותם בנפרד.
למסד נתונים, נוח להפריד בין ישויות האיסוף, הסרטונים, תשובות התגובות הגולמיות והחלטות התיוג לפי נושאים. הקישור לשאילתה ולסרטון יאפשר לפתוח את המקור לבדיקה ידנית. לאחר אישור הסכמה אפשר להוסיף עימוד מבוסס סמן: הנתיב מקבל cursor, ובבקשה הבאה יש להעביר את הערך שה-API החזיר, בלי לנסות לפרש אותו.
מה היתרון בגישה הזאת
הצוות מקבל תהליך איסוף שניתן לשחזר ומערך מקורות שאפשר לבדוק, ומתוכו אפשר לבנות תור נושאים. האנליסט יכול לעקוב אחר שאילתת החיפוש שהובילה לסרטון ולראות איזו תשובת תגובות נשמרה. אחרי בדיקת המבנה, המפתח יוכל להוסיף נרמול וקיבוץ לפי נושאים, בלי להחליף סכמה לא ידועה בהנחות.
בדוח ציינו את ביטויי החיפוש, מועד ההרצה, קריטריוני הבחירה ומספר התשובות שעובדו. המסקנות נוגעות לשאילתות המסוימות ולנתונים שהוחזרו; הן עוזרות לחקור את הדיונים שנמצאו ולתכנן בדיקה, תוך שמירה על מקור הנתונים וההקשר שלהם.
התחילו במוצר אחד ובכמה שאילתות אבחון: שמרו את התשובות, בדקו את מבנה התגובות, ואז הוסיפו למנרמל רק שדות שאומתו. הפרמטרים של הנתיבים מתוארים בתיעוד ה-API, ומידע על המוצר מופיע בדף TikTok Scraper API.