jsonscraper
Piyasalar
Dergiye dön

TikTok aramasını haftalık değişiklik günlüğüne dönüştürme

Python betiği yeni bulunan videoları kaydeder, kimliklere göre karşılaştırır ve düzenli inceleme için CSV oluşturur

Yayın Politikası Hata bildirin

TikTok aramaları için haftalık rapor, önceki çalıştırmadan sonra yeni örneklemde hangi videoların göründüğünü gösterdiğinde yararlıdır. Bunun için daha önce görülen videoların kimliklerini saklamak ve CSV’ye yeni sonuçları eklemek yeterlidir. Aşağıda TikTok Scraper API kullanan, tekrarlanabilir bir Python örneği yer alıyor: Anahtar kelimeye göre video ister, belgelenmiş yanıt biçimlerinin ikisini de ayrıştırır ve yerel bir kimlik veritabanı tutar.

Amaç: tüm sonuçları yeniden incelemek değil, yeni kayıtları fark etmek

Destek ekibinin, pazar araştırmacısının veya içerik analistinin bir ürünle ilgili sorgu için düzenli olarak herkese açık videolardan örneklem alması gerekebilir. Sonuçları her seferinde tümüyle dışa aktarmak, tekrarlanan videoların incelenmesini zorlaştırır ve yeni kayıtların daha önce işlenenler arasında kaybolmasına yol açar. Kimlik günlüğü, her çalıştırmanın sonucunu karşılaştırılabilir kılar: CSV’de yalnızca bu işlem için yeni olan videolar ve yanıtta dönen temel alanlar bulunur.

Bu günlük, kapsamı sınırlı ama pratik bir soruyu yanıtlar: Mevcut çalıştırmanın yanıtında hangi öğeler vardı ve kayıtlı kimlik kümesinde hangileri yoktu? Bu, elle inceleme kuyruğu oluşturmak ve verileri bir tabloya ya da sonraki analiz aşamasına aktarmak için kullanışlıdır. Örneklem, belirtilen sorgu için API sonuçlarını yansıtır; TikTok’taki tüm gönderileri kendi başına temsil etmez.

Hazırlık

  • Python 3.8 veya üzeri.
  • TikTok Scraper API erişimi ve lisans anahtarı.
  • Anlamı değiştirilmeden tekrarlanabilecek bir sorgu; örneğin ürün adı veya belirli bir ifade.

Anahtarı betik dosyasına değil, JSONSCRAPER_TIKTOK_LICENSE_KEY ortam değişkenine kaydedin. Aşağıdaki örnekte anahtar, API şemasına uygun olarak license_key sorgu parametresiyle gönderilir. Anahtarı çalışma günlüklerine yazdırmayın.

export JSONSCRAPER_TIKTOK_LICENSE_KEY="anahtarınız"
python -m pip install requests

Windows PowerShell’de değişkeni geçerli oturum için şöyle ayarlayabilirsiniz: $env:JSONSCRAPER_TIKTOK_LICENSE_KEY="anahtarınız". Gerçek gizli bilgileri Git’e veya paylaşılan CSV dosyalarına eklemeyin.

Entegrasyon: arama isteği gönderme ve JSON’u normalleştirme

Video araması için belgelerde, zorunlu keyword parametresini alan GET /searchVideo uç noktası açıklanıyor. İsteğe ayrıca count, bölge, sıralama, zaman filtresi ve sonuçlar arasında gezinmek için imleç eklenebilir. Bu basit örnekte yalnızca anahtar kelime, istenen öğe sayısı ve ABD bölgesi kullanılıyor. TikTok API uç noktaları kılavuzu parametrelerin tam adlarını listeliyor.

Arama yanıtının yapısına özellikle dikkat etmek gerekir: aweme_list dizisi boş olabilir; video öğeleri ise verilerin aweme_info içine yerleştirildiği search_item_list içinde bulunabilir. Bu nedenle kod her iki yolu da kontrol eder, ardından öğeleri birleştirip aweme_id üzerinden yinelenenleri ayıklar. Böylece başarıyla ayrıştırılan JSON’un yanlışlıkla boş rapora dönüşmesi önlenir.

import csv
import json
import os
from pathlib import Path
from datetime import datetime, timezone

import requests

BASE_URL = "https://tiktok.evelode.com/searchVideo"
KEYWORD = "ürün adı"
REGION = "US"
COUNT = 30
STATE_FILE = Path("seen_video_ids.json")
OUTPUT_FILE = Path("new_tiktok_videos.csv")

license_key = os.environ.get("JSONSCRAPER_TIKTOK_LICENSE_KEY")
if not license_key:
    raise RuntimeError("JSONSCRAPER_TIKTOK_LICENSE_KEY ayarlayın")

response = requests.get(
    BASE_URL,
    params={
        "license_key": license_key,
        "keyword": KEYWORD,
        "count": COUNT,
        "region": REGION,
    },
    timeout=60,
)
response.raise_for_status()
data = response.json()

# Yanıt örneğinde dış düzeyde bir status ve iç içe bir tiktok nesnesi bulunur.
if "status" in data and data["status"] != "ok":
    raise RuntimeError("API, ok dışında bir durum döndürdü")

tiktok = data.get("tiktok") or {}
items = list(tiktok.get("aweme_list") or [])
for entry in tiktok.get("search_item_list") or []:
    info = entry.get("aweme_info")
    if isinstance(info, dict):
        items.append(info)

# Mevcut yanıttaki öğeleri sıralarını koruyarak benzersizleştir.
current = {}
for item in items:
    video_id = item.get("aweme_id")
    if video_id:
        current[str(video_id)] = item

if STATE_FILE.exists():
    seen = set(json.loads(STATE_FILE.read_text(encoding="utf-8")))
else:
    seen = set()

new_items = [(video_id, item) for video_id, item in current.items()
             if video_id not in seen]
run_time = datetime.now(timezone.utc).isoformat()

fields = ["collected_at_utc", "query", "aweme_id", "created_at",
          "author", "description", "share_url", "play_count",
          "digg_count", "comment_count", "share_count"]
write_header = not OUTPUT_FILE.exists() or OUTPUT_FILE.stat().st_size == 0
with OUTPUT_FILE.open("a", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=fields)
    if write_header:
        writer.writeheader()
    for video_id, item in new_items:
        author = item.get("author") or {}
        stats = item.get("statistics") or {}
        writer.writerow({
            "collected_at_utc": run_time,
            "query": KEYWORD,
            "aweme_id": video_id,
            "created_at": item.get("create_time"),
            "author": author.get("unique_id") or author.get("nickname"),
            "description": item.get("desc"),
            "share_url": item.get("share_url"),
            "play_count": stats.get("play_count"),
            "digg_count": stats.get("digg_count"),
            "comment_count": stats.get("comment_count"),
            "share_count": stats.get("share_count"),
        })

seen.update(current.keys())
STATE_FILE.write_text(json.dumps(sorted(seen)), encoding="utf-8")
print(f"Yanıtta: {len(current)} benzersiz video; yeni: {len(new_items)}")

Betik, JSON’da bulunmayan değerleri CSV’de boş hücre olarak yazar: tek tek kayıtlarda bazı alanlar ve ölçümler bulunmayabilir. Kod, eksik değerleri sıfırla değiştirmez ve sıfırı veri yokluğu olarak yorumlamaz. Toplama zamanı ayrı tutulur; API’nin create_time alanında döndürdüğü yayın zamanıyla karıştırılmaz.

Değişiklik denetimi nasıl çalışır?

  1. İstek, belirtilen anahtar kelimeye göre arama sonuçlarının bir sayfasını döndürür.
  2. Normalleştirici, kayıtları aweme_list ve search_item_list[].aweme_info alanlarından toplar.
  3. Betik, video kimliğine göre yanıt içindeki tekrarları ayıklar.
  4. Kimlikler yerel JSON günlüğüyle karşılaştırılır.
  5. Yeni kimlikler CSV’ye eklenir, ardından görülen tüm küme sonraki çalıştırma için kaydedilir.
Makale: TikTok aramasını haftalık değişiklik günlüğüne dönüştürme
Özet: Bir anahtar kelimeyle TikTok videolarını tekrarlanabilir biçimde toplayın: API yanıtının her iki biçimini işleyin, yinelenenleri ayıklayın ve haftalık rapor için yalnızca yeni kayıtları saklayın.
Görsel rolü: destekleyici illüstrasyon 2 — farklı, belirli bir yön
Bölüm: Değişiklik denetimi nasıl çalışır?
Görsel konusu: Beş doğrulanmış iş akışı aşamasını etiketleriyle gösteren net infografik: İstek / Yanıtın iki dizisi / awe kimliğine göre yinelenenleri ayıklama
Şema, arama yanıtından yeni kayıtların CSV’sine ve sonraki çalıştırma için JSON günlüğüne uzanan yolu gösteriyor.© jsonscraper · Yapay zekâ ile oluşturulmuş illüstrasyon
Makale: TikTok aramasını haftalık değişiklik günlüğüne dönüştürme
Özet: Bir anahtar kelimeyle TikTok videolarını tekrarlanabilir biçimde toplayın: API yanıtının her iki biçimini işleyin, yinelenenleri ayıklayın ve haftalık rapor için yalnızca yeni kayıtları saklayın.
Görsel rolü: kapak — ana fikir
Bölüm: Değişiklik denetimi nasıl çalışır?
Görsel konusu: Haftalık veri incelemesini anlatan editoryal natürmort: herkese açık kısa video arama sonuçlarını temsil eden üst üste dizilmiş şeffaf kartlar ve kompakt bir...
Yerel günlükte yeni olan kimlikler, yeniden bulunan videolardan ayrılır.© jsonscraper · Yapay zekâ ile oluşturuldu

Bu süreci görselleştirmek, betiği iş arkadaşlarına devrederken yararlıdır: CSV eklemeli bir günlük, JSON ise yinelenenleri ayıklama durumudur. Bunlar koddan ayrı saklanabilir ve birlikte yedeklenebilir. Ekip veya bulut ortamında çalıştırmak için yerel JSON dosyasını uygun kalıcı depolamayla değiştirin ve paralel çalıştırmaların birbirinin üzerine yazmaması için durumun atomik olarak güncellenmesini sağlayın.

Yeniden çalıştırma ve sayfalama

Çalıştırmayı işletim sistemi zamanlayıcısı, CI işi veya otomasyon iş akışıyla zamanlayın. Sorgunun sürümünü kaydetmeden anahtar kelimeyi değiştirmeyin: farklı sorgular farklı örneklemler oluşturur ve bunları tek günlükte birleştirmek yorumlamayı zorlaştırır. Basitlik adına verilen betik tek sorgu kullanır; sorguların her satır için query alanını koruyan bir döngüyle işlenmesi mümkündür.

API, arama sonuçlarında gezinmek için cursor parametresini destekler. Sayfalamayı eklerseniz önceki yanıttaki imleci gönderin, opak bir değer olarak saklayın ve başka sayfalara gerek kalmadığında taramayı durdurun. count sınırı istenen öğe sayısını belirtir; ancak gerçek kayıt sayısı yanıta göre belirlenmelidir. Birden fazla sayfa da platformun tamamının kapsandığı anlamına değil, arama sonuçlarının alınmış sayfalarına karşılık gelir.

Mevcut örnekte metinleri otomatik sınıflandırma veya “trend” çıkarımı bilerek yer almıyor. CSV, yeni bulunan kayıtları hızla ayıklamaya yardımcı olur; analist daha sonra bunları konuya, amaca veya soru türüne göre etiketleyebilir ve örnekleri elle kontrol edebilir. Bir dil modeli kullanıyorsanız yalnızca gereken metin alanlarını aktarın ve sonucu denetleyip kayıtla eşleştirebilmek için kategorilerin özgün ID ile birlikte döndürülmesini isteyin.

Kontroller ve yaygın hatalar

  • HTTP hatası. raise_for_status(), başarılı aralık dışındaki HTTP kodlarında çalışmayı durdurur. Durum dosyasını güncellemeden önce API erişimini, parametreleri ve hesabı kontrol edin.
  • API durumu ok değil. Yanıtta üst düzey status alanı bulunuyor ve değeri farklıysa betik sonuçları yazmadan durur. Böylece önceki günlük korunur ve hatalı yanıtın boş sonuç sanılması önlenir.
  • aweme_list boş. search_item_list alanını da kontrol edin; kod her iki yapıyı da hesaba katar.
  • Videolar çalıştırmalar arasında tekrarlanıyor. Örtüşen arama sonucu sayfalarında bu beklenir: ID zaten kaydedilmişse video rapora yeniden eklenmez.
  • Ölçüm eksik. Hücre boş kalır. Hesaplamalarda eksik değerleri gerçek sıfırlardan ayrı tutun.
  • Durum kayboldu. Betik, döndürülen tüm ID’leri yeni kabul eder. seen_video_ids.json dosyasını CSV ile birlikte yedekleyin veya kalıcı bir veritabanı kullanın.

Otomasyon sırasında anahtarı içermeyen tanılama bilgilerini saklayın: çalıştırma zamanı, HTTP kodu, API durumu, ayrıştırılan kayıt sayısı ve yeni ID sayısı. Bu, yeni video bulunmamasıyla başarısız bir isteği ayırt etmeye yardımcı olur. Şemanın sonradan yeniden denetlenmesi gerekiyorsa özgün yanıtın tamamını ayrı arşivleyebilirsiniz; erişimi ve saklama süresini ekibin ihtiyaçlarına göre sınırlayın.

Sonuç

Çalıştırmanın ardından günlükte yeni olan videoların ID’lerini, açıklamalarını, bağlantılarını ve erişilebilir herkese açık alanlarını içeren bir CSV’niz ve sonraki çalıştırmayla karşılaştırma için JSON durumunuz olur. Bu çıktı, destek, analiz veya içerik ekipleri için kompakt bir başlangıç kuyruğu olarak kullanılabilir. API açıklamasını ve erişim seçeneklerini TikTok Scraper API sayfasında inceleyebilir; arama parametrelerinin kesin biçimini resmî uç noktalar kılavuzundan kontrol edebilirsiniz.

İnsanlar

Bu makale için henüz kimse listelenmedi.

Okumaya devam etTikTok’ta ürünle ilgili tekrarlanan sorular nasıl tespit edilir?
Sonraki makaleyi okuyun

Okuduklarınızı çalışan bir entegrasyona dönüştürün

jsonscraper sosyal veri API'lerini keşfedin, istekleri test edin ve sonraki iş akışınızı oluşturun.

API'leri Keşfet