01
Что это
Идея простая: человек следит за десятком блогеров, чтобы не пропустить важное. Forpost делает это вместо него. Система видит новое видео, качает звук, расшифровывает его моделью Whisper large-v3 на GPU, сжимает в новость локальной LLM, подбирает ключевые кадры — и кладёт готовый текст туда, где его прочитают: в Telegram-канал или на сайт.
Из одного бота для своих нужд это выросло в мультитенантный SaaS: у каждого клиента свои каналы, свои настройки тона и цензуры, своя изоляция данных на уровне базы.
GPU для расшифровки система арендует сама — на Clore.ai, с RunPod как резервом, — потому что держать видеокарту круглосуточно дороже, чем брать её на час под нагрузку.
02
возможности
Что оно умеет
01
Мониторинг каналов
YouTube через RSS, TikTok через yt-dlp с обходом бот-стены. Проверка каждые N секунд, очередь задач, чекпоинты в S3 — прерванный прогон не начинается заново.
02
Расшифровка на GPU
faster-whisper large-v3, CUDA float16. Длинные ролики режутся, есть лимит в четыре часа на прогон, чтобы один стрим не заблокировал очередь.
03
Тематический гейт по транскрипту
Ролик попадает в нужную рубрику не по названию канала, а по реальному содержанию разговора. Это убрало большинство ошибочных публикаций.
04
Персонализация под каждый чат
Перевод, тон, длина, цензура — отдельно для каждого получателя. Одна новость выходит разной для трейдеров и для общей аудитории.
05
Публикация в WordPress
Отдельный модуль публикации с мультиязычностью и обложками. Крипто-новости на украинском и английском ежедневно идут в блог клиента.
06
Аренда GPU на лету
Свой оркестратор поверх Clore.ai: поднять ноду, прогреть модель, отдать работу, погасить. Резервный контур — RunPod Serverless.
03
архитектура
Как устроено
01
Мониторинг YouTube / TikTok
02
Скачивание и расшифровка на GPU
03
Суммаризация в новость
04
Персонализация под чат
05
Публикация в Telegram / WP
Под капотом
- Оркестратор на FastAPI + SQLAlchemy async, очередь Procrastinate прямо в PostgreSQL — без отдельного брокера.
- PostgreSQL 16 с TimescaleDB и pgvector; изоляция клиентов через RLS и PgBouncer в transaction-режиме.
- Воркер в своём Docker-образе с CUDA и запечёнными моделями — нода готова к работе сразу после старта.
- MinIO для чекпоинтов и медиа, Caddy как edge с автоматическим TLS.
- Полный стек наблюдаемости: OpenTelemetry → Tempo, Prometheus, Loki, Grafana.
- Whisper и LLM локальные — транскрипты клиентов не уезжают в сторонние API.
04
масштаб
Цифры
large-v3
модель расшифровки
4 ч
лимит на один прогон
2
провайдера GPU
17
контейнеров в проде