jsonscraper
市場
ジャーナルに戻る

TikTokのコメントを製品バグのトリアージキューに変える方法

見つけた動画から公開コメントを取得し、テーマ分類の前に実際の応答構造を確認できるよう、元のJSONを保存します。

編集方針 誤りを報告する

TikTokで問題に関する議論を調べるには、まず関連する動画を見つけ、選んだ動画ごとにコメントを取得します。製品チームにとって、その結果は検索クエリと動画リンクにひも付けられた元のJSON応答のセットになります。トピックのキューを作る前に、コメントの実際の構造を確認してください。ドキュメントにはエンドポイントとパラメーターが記載されていますが、応答内のレコードのフィールドは説明されていません。

これは分析パイプラインにおける重要な工程です。検索結果から製品に関する文脈を集められ、コメントには不具合の報告、質問、回避策が含まれることがあります。分類を実データに基づいて行うため、まずAPI応答を変換せずに保存し、その後、実際に受け取ったスキーマにフィールドを対応付けます。

動画検索だけでは不十分な理由

アプリやデバイスの名前を使えば動画を見つけられますが、動画の説明文に表れるのは主に投稿者の表現です。視聴者はコメントで具体的な不具合や使い方について話し合うことがあります。そのため、コメントを収集すると、元の動画にひも付いた第2のデータ層を検索対象に加えられます。

これまでの記事では、TikTok検索のモニタリング、説明文からの質問の抽出、検索応答の処理を取り上げました。今回は対象を絞り、コメントエンドポイントの応答を収集し、分類方法を設計する前にその構造を確認します。分析連携を開発する人、ユーザー体験の研究者、サポートチームに役立つ方法です。

検索語句から検証可能なデータセットへ

製品名に機能名やモデル名を組み合わせるなど、具体的な検索語句をいくつか用意します。検索応答と、選んだ動画のURLを保存します。次にURLを使ってコメントを取得し、各応答を個別に保存します。スキーマを確認した後で、必要なフィールドを正規化し、重複を削除して、テキストをトピックごとに分類できます。

記事:TikTokのコメントを製品バグのトリアージキューに変える方法
概要:PythonのパイプラインでTikTok動画の検索とjsonscraperによるコメント取得を連携します。コメント項目名をあらかじめ決めつけず、生のJSONを保存して出力する例を紹介します。
画像の役割:補助イラスト2 — 別の具体的な側面
セクション:検索語句から検証可能なデータセットへ
ビジュアルの主題:キーワード検索 → 動画の選定 → コメント取得を示すロシア語のプロセス図
実際の応答を確認した後に行う正規化と、ドキュメントに記載された収集手順を区別した図です。© jsonscraper · AI生成イラスト
  1. 検索:キーワードで動画を検索し、サポートされている2種類の結果構造を確認します。
  2. 選定:関連する動画を選び、識別子とURLを保存します。
  3. コメントの収集:URLをコメントエンドポイントに渡します。ページネーションを続けるには、返されたカーソルを使用します。
  4. 確認:生のJSONを保存し、応答から実際のフィールド名を特定します。
  5. 分析:スキーマを確認してからテキストをグループ化し、例を人が確認できるようにします。
TikTok動画の検索、動画の選定、コメントの取得、元のJSONの保存、構造の確認、手作業でのトピック分類を示す図
まず応答全体を保存し、実際のフィールドを確認してから正規化を加えます。

使用するエンドポイント

TikTok Scraper APIのドキュメントには、必須パラメーターkeywordを指定するGET /searchVideoが記載されています。追加パラメーターにはcount、cursor、date_posted、sort_by、regionがあります。コメント取得には、必須パラメーターvideo_urlを指定するGET /getCommentsByUrlが用意されており、追加パラメーターとしてcursor、count、regionが挙げられています。キーはlicense_keyパラメーターで渡します。

検索応答では、動画がtiktok.aweme_listまたはtiktok.search_item_list[].aweme_infoに格納されている場合があります。この例では両方の形式を処理し、外側のステータスを確認して、見つかったオブジェクトを保存します。コメント応答については、配列名もフィールド名も決めつけず、受け取ったJSONを保存して出力し、確認できるようにします。

Pythonによる最小限の収集スクリプト

このコードはPython 3.8以降に対応しています。requestsをインストールし、環境変数JSONSCRAPER_TIKTOK_LICENSE_KEYにキーを設定してください。スクリプトは検索結果とコメントを別々のJSONファイルに書き込み、各コメント応答を検索語句と動画URLにひも付けます。応答の実際の構造を確認するまでは、意図的にコメントフィールドを抽出しません。

記事:TikTokのコメントを製品バグのトリアージキューに変える方法
概要:PythonのパイプラインでTikTok動画の検索とjsonscraperによるコメント取得を連携します。コメント項目名をあらかじめ決めつけず、生のJSONを保存して出力する例を紹介します。
画像の役割:カバー — 中心となるアイデア
セクション:Pythonによる最小限の収集スクリプト
ビジュアルの主題:動画URLとコメントを表すカードの横に、製品チーム向けに並べられた生のJSON応答の印刷物を置いた、編集記事風のドキュメンタリー写真
生の応答を保存すれば、正規化する前に元データの構造を確認できます。© jsonscraper · AI生成
import json
import os
from pathlib import Path

import requests

BASE = "https://tiktok.evelode.com"
KEY = os.environ["JSONSCRAPER_TIKTOK_LICENSE_KEY"]
OUT = Path("tiktok_raw")
OUT.mkdir(exist_ok=True)


def get_json(path, params):
    response = requests.get(
        BASE + path,
        params={**params, "license_key": KEY},
        timeout=30,
    )
    response.raise_for_status()
    data = response.json()
    if data.get("status") != "ok":
        raise RuntimeError("API returned non-ok status")
    return data


def videos_from_search(data):
    tiktok = data.get("tiktok") or {}
    found = list(tiktok.get("aweme_list") or [])
    for item in tiktok.get("search_item_list") or []:
        aweme = (item or {}).get("aweme_info") or {}
        if aweme:
            found.append(aweme)

    unique = {}
    for video in found:
        video_id = video.get("aweme_id")
        video_url = video.get("share_url")
        if video_id and video_url:
            unique[video_id] = video
    return list(unique.values())


for index, keyword in enumerate(("APP_NAME ошибка", "APP_NAME не работает")):
    search = get_json("/searchVideo", {"keyword": keyword, "count": 10})
    (OUT / f"search_{index}.json").write_text(
        json.dumps(search, ensure_ascii=False, indent=2), encoding="utf-8"
    )

    for video in videos_from_search(search):
        video_id = video["aweme_id"]
        video_url = video["share_url"]
        comments = get_json(
            "/getCommentsByUrl",
            {"video_url": video_url, "count": 30},
        )
        filename = f"comments_{video_id}.json"
        record = {
            "keyword": keyword,
            "video_id": video_id,
            "video_url": video_url,
            "response": comments,
        }
        (OUT / filename).write_text(
            json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8"
        )
        print(json.dumps(record, ensure_ascii=False, indent=2))

スクリプトは応答の外側のステータスを確認してから、JSONオブジェクト全体を書き込みます。これにより、コメントの表を作る前に、実際のキー、値の型、入れ子構造を調べられます。APIがエラーを返した場合、コードは不正な結果を黙って保存せず、停止してエラーを通知します。

生のJSONからトピックキューへ移行する

1つ以上の応答を確認したら、実際に見つかったスキーマに基づいて正規化処理を作成します。変換を検証し、コード変更時にデータを再処理できるよう、正規化した行の横に元のJSONも保存します。レコードには動画リンク、元のコメントレコード、収集時刻、適用した分類ルールのバージョンを残すと便利です。

トピック分類は、「不具合」「使い方に関する質問」「機能リクエスト」「フィードバック」「製品に無関係」などのラベルから始められます。キーワードルールや分類器を使ってデータを振り分ける場合も、割り当てたラベルは元のテキストと別に保存します。タスクを作成する前に、担当者がコメントの文脈と元の動画を確認してください。

重複排除には、応答内にそのフィールドがあることを確認した後でのみ、識別子フィールドを使います。データに識別子がない場合は、動画URLと正規化したテキストの組み合わせを一時的なキーにできます。この方法は同じ動画内の同一表現をまとめますが、レコードが同じ投稿者によるものだとは断定できません。

自動化とデータの来歴

cron、GitHub Actions、n8nなどを使って、定期的に収集を実行します。キーは実行環境のシークレットに保存し、リポジトリ、結果ファイル、ログには含めないでください。元のJSON応答を確認できる状態で保管し、チームの要件と適用されるプラットフォームのルールに従って保存期間とアクセス権を設定します。

パイプラインの稼働状況を把握するため、成功した検索リクエスト数、見つかったユニーク動画数、保存したコメント応答数、APIエラー数を記録します。これらの技術的な指標から、どの段階で結果が変化したかを確認できます。空の応答、リクエストエラー、トピック分類後に一致が見つからない状態はそれぞれ異なるため、別々に記録してください。

データベースでは、収集、動画、元のコメント応答、トピック分類の判断を別のエンティティとして扱うと便利です。検索語句と動画との関連付けにより、手作業で確認するために元データを開けます。スキーマを確認した後でカーソルによるページネーションを追加できます。エンドポイントはcursorを受け付けるため、次のリクエストには、解釈しようとせずAPIから返された値を渡します。

この方法で得られること

チームは、再現可能な収集プロセスと、トピックキューの構築に使える検証可能な情報源のセットを得られます。アナリストは、どの検索語句が動画につながり、どのコメント応答が保存されたかをたどれます。構造を確認した後で、開発者は未知のスキーマを推測で補うことなく、正規化とトピック分類を追加できます。

レポートには、検索語句、実行日、選定基準、処理した応答数を記載します。結論は特定の検索語句と取得データに基づくものであり、発見した議論の調査や検証計画に役立つ一方、その来歴と文脈を維持できます。

まず1つの製品と少数の診断用検索語句から始めます。応答を保存し、コメントの構造を確認してから、検証済みのフィールドだけを正規化処理に追加してください。エンドポイントのパラメーターはAPIドキュメントに、製品情報はTikTok Scraper APIのページに記載されています。

人々

この記事にはまだ人物がリストされていません。

読み続けてくださいTikTokで製品に関する繰り返しの質問を見つける方法
次の記事を読む

読んだ内容を実用的な連携へ

jsonscraperのソーシャルデータAPIを調べ、リクエストを試し、次のワークフローを構築しましょう。

APIを探す