Michael Johnsonقد ترسل خدمتان العدد نفسه من الطلبات إلى نموذج، ومع ذلك تولّدان عبئاً مختلفاً تماماً. وفي دليل Cohere لخدمتي Embed وRerank، المنشور في 9 أكتوبر، تقترح الشركة اختيار المعالجة المشتركة أو المخصصة وفقاً لشكل الطلبات وجدول الحمل ومتطلبات زمن الاستجابة. وهذا تحليل عملي للبنية التحتية، لا إعلان عن باقة أو منتج جديد.
وهذه الخلاصة مهمة للفرق التي تطوّر أنظمة البحث وتوليد الإجابات المعزز بالاسترجاع (RAG) عند التخطيط للفهرسة وطلبات المستخدمين؛ فعدد الاستدعاءات وحده لا يصف حجم العمليات الحسابية بدقة. وقد تستهلك حزمة واحدة من المستندات المخصصة لتوليد التضمينات موارد أكثر من عدد كبير من طلبات البحث القصيرة.
لماذا قد يكون عدد الطلبات في الدقيقة مضللاً؟
تحوّل التضمينات النصوص إلى تمثيلات رقمية يستخدمها نظام البحث لإجراء المطابقة الدلالية. عند فهرسة كتالوج للمرة الأولى، قد يرسل التطبيق حزمًا كبيرة من الأوصاف؛ أما في البحث المعتاد، فيتلقى النموذج نصاً قصيراً للاستعلام. وتختلف متطلبات هاتين المهمتين: فعادةً ما تُقيّم معالجة الحزم وفق الإنتاجية والتكلفة، بينما يُقيّم البحث وفق زمن الاستجابة للمستخدم.
وفي Rerank، ثمة معيار آخر مهم: عدد النتائج المرشحة التي يرسلها النظام إلى النموذج لإعادة ترتيبها. في مثال Cohere، يُطابَق استعلام قصير مع 50 مستنداً؛ وتقدّر الشركة حجم هذه المعالجة بنحو 11 ألف رمز. وزيادة عدد النتائج المرشحة توسّع حجم العمل حتى إن ظل معدل عمليات البحث التي يجريها المستخدمون ثابتاً.
ما الذي توضحه حسابات Cohere؟
يعرض المقال نقاط تحول اقتصادية تقريبية من الدفع حسب الاستهلاك إلى القدرة المخصصة: نحو 20 طلباً في الدقيقة لفهرسة حزم تضم 100 نص، يبلغ كل منها نحو 200 رمز؛ ونحو أربعة طلبات للوثائق الأطول؛ ونحو 29 طلباً لسيناريو Rerank المذكور. أما بالنسبة إلى تضمينات البحث القصيرة، فيقدّر المؤلفون العتبة بعشرات الآلاف من الطلبات في الدقيقة.
تستند هذه الأرقام إلى افتراضات محددة: استخدام بطاقة رسومات NVIDIA A10 واحدة مخصصة، وتشغيلها بكامل طاقتها على مدار الساعة، والالتزام بأحجام الطلبات المذكورة والأسعار المنشورة. وتوضح Cohere أن الرسوم البيانية والعتبات تتغير عند اختلاف مدة التشغيل أو تكوين الأجهزة أو الخصومات أو حجم المستندات. لذا يجدر النظر إليها بوصفها توضيحاً لطريقة الحساب، لا معايير عامة صالحة لكل الحالات.
لكن منطق الاختيار ينطبق على نطاق أوسع من الأمثلة المحددة. فقد تستفيد الأحمال المستمرة والمتوقعة من القدرة المحجوزة على نحو أفضل؛ أما الارتفاعات القصيرة التي تتخللها فترات خمول طويلة، فغالباً ما تناسبها المحاسبة حسب الاستهلاك الفعلي. وفي البحث التفاعلي، ينبغي أيضاً اختبار زمن الاستجابة عند الحمل المتوقع؛ فالإنتاجية القصوى للأجهزة لا تضمن تحقيق زمن الاستجابة المطلوب في ظروف التشغيل الفعلية.
كيف تستفيد من التحليل في نظام البحث لديك؟
قبل مقارنة الخيارات، قِس عدة مؤشرات على حركة المرور الفعلية: عدد الرموز والمستندات في كل طلب، وحجم حزم الفهرسة، وعدد النتائج المرشحة لإعادة الترتيب، ومدة فترات الذروة، وزمن الاستجابة المستهدف. ثم احسب التكلفة وفق جدول التشغيل الفعلي، لا وفق متوسط عدد الطلبات فحسب. ولتكوين صورة كاملة، راجع الأسعار الحالية وشروط الاستضافة في صفحة أسعار Cohere؛ إذ تختلف طريقة تسعير النموذج المخصص عن المعالجة حسب الاستهلاك.
ومن المنطقي تقييم مراحل البحث المختلط كلٌّ على حدة: إعادة فهرسة الكتالوج في الخلفية، وطلبات المستخدمين القصيرة، وإعادة ترتيب النتائج المرشحة. ويساعد هذا الحساب على التحقق مما إذا كانت البنية التحتية الموحدة مجدية، أم أن خدمة أجزاء مختلفة من مسار المعالجة وفق نماذج استضافة مختلفة أكثر كفاءة. وخلاصة منشور Cohere العملية بسيطة: قِس أولاً حجم العمل الذي يحمله كل طلب، ثم اختر طريقة الدفع وتخصيص الموارد.