jsonscraper

Cloudflare випустила Clef-omni для структурованого аналізу аудіо й відео

Модель обробляє текст, зображення, аудіо та відео, а потім оцінює відповіді за заданою схемою. У тому самому оновленні Cloudflare знизила ціну Clef-flash і скоротила контекст її хмарної версії.

Редакційна політика Повідомити про помилку

Перевірити за одним зверненням, чи читається маркування на фото, чи працює вентилятор на відео і чи чути сторонній шум в аудіозаписі, — такий приклад Cloudflare наводить для нової моделі Clef-omni. 9 жовтня 2026 року компанія оголосила про її випуск: модель приймає текст, зображення, аудіо та відео й оцінює варіанти відповідей на задані запитання.

Стаття: Cloudflare випустила Clef-omni для структурованого аналізу аудіо й відео
Короткий зміст: 9 жовтня Cloudflare оголосила про випуск Clef-omni — моделі з відкритими вагами для структурованих рішень на основі тексту, зображень, аудіо та відео. Компанія також знизила ціну хмарної Clef-flash із $0,09 до $0,038 за мільйон вхідних токенів і зменшила її контекстне вікно з 64 тис. до 24 тис. токенів.
Роль зображення: обкладинка — головна ідея
Розділ: 
Візуальний об'єкт: перевірка промислового обладнання з
© jsonscraper · ілюстрація, створена ШІ

Clef-omni продовжує сімейство моделей ухвалення рішень Clef, яке Cloudflare представила тижнем раніше. Розробник задає схему запитань і допустимих відповідей; модель повертає оцінки цих варіантів, придатні для структурованої обробки. Це підходить для класифікації звернень і мультимедійних матеріалів, коли результат потрібно передати в застосунок або робочий процес.

Одна схема для різних типів вхідних даних

В анонсі Cloudflare про Clef-omni модель описана як така, що побудована на базі Qwen3-Omni-30B-A3B-Instruct з архітектурою суміші експертів (mixture-of-experts). Вона підтримує текст і JSON, зображення, WAV і MP3 для аудіо, а також MP4 і WebM для відео. На кожне запитання з варіантами відповіді модель видає оцінки варіантів; це дає змогу застосунку обробляти результат у заздалегідь визначеному форматі.

Наприклад, під час сортування заявок про несправності команда може поставити запитання про читабельність маркування на фотографії, шум у записі та миготіння індикатора на відео. Такий єдиний запит об'єднує мультимодальні свідчення у структуровану відповідь для подальшої маршрутизації.

Cloudflare повідомляє про медіанну затримку близько 130 мс для текстових рішень і близько 150 мс для зображень. Для 21-секундного відео зі звуком компанія вказує приблизно 1,5 секунди. Це результати випробувань, про які повідомила компанія; для оцінювання власної системи важливі також її файли, схема запитань і спосіб розгортання.

Відкриті ваги та хмарний запуск

Cloudflare опублікувала ваги Clef-omni на Hugging Face за ліцензією Apache-2.0. Картка моделі описує локальний запуск і тестування на одному прискорювачі H200; для конфігурації bfloat16 зазначено близько 64 ГБ відеопам'яті. Це дає командам змогу оцінити самостійне розгортання з огляду на вимоги до обладнання та налаштування.

Усередині шлюзу Nebra Smart LoRa
Pi Supply · Ліцензія Unsplash

Для хмарної Clef-omni Cloudflare оголосила ціну $0,15 за мільйон вхідних токенів. Розрахунок залежить від складу вхідних даних: Cloudflare окремо описує, як зображення й аудіо перетворюються на тарифіковані токени, а відео також впливає на обсяг вхідних даних. Перед розрахунком бюджету слід перевірити поточні умови в документації Workers AI.

Clef-flash подешевшала, а контекст хмарної версії скоротився

У тому самому оновленні Cloudflare знизила ціну хмарної Clef-flash із $0,09 до $0,038 за мільйон вхідних токенів. Контекстне вікно хмарної версії водночас зменшилося з 64 тис. до 24 тис. токенів. За даними компанії, лише 0,24% запитів перевищували новий поріг.

Перед переходом на нижчу ціну командам варто перевірити довжину фактичних запитів і документів. Опубліковані ваги Clef-flash не змінювалися: Cloudflare зазначає, що для самостійного розгортання модель розрахована на контекст до 256 тис. токенів. Цей ліміт стосується відкритого варіанта, а не хмарної версії з вікном 24 тис.

Практична ідея Clef-omni — об'єднати мультимодальне введення та вибір із заздалегідь заданих варіантів в одному запиті. Для продуктів, які класифікують матеріали, зіставляють звук із зображенням або заповнюють фіксовані поля, її можна оцінити на власних прикладах. Обираючи між хмарним і самостійним розгортанням, слід окремо враховувати тариф, вимоги до обладнання та потрібну довжину контексту.

People

No people listed for this article yet.

Keep readingGoogle відкрила SynthID Detector для перевірки зображень, відео й аудіо
Read the next article

Перетворіть прочитане на робочу інтеграцію

Досліджуйте API соціальних даних jsonscraper, тестуйте запити й створюйте нові процеси.

Переглянути API