Монтаж видео из материала пользователя

Цель: из сырой папки (клипы + фото + голос) собрать вертикальный ролик 9:16 (рилс) уровня «продакшн». Всё локально, без облачных сервисов.

Среда (проверено 2026-06-22)

• ffmpeg / ffprobe: на PATH (или переменные окружения FFMPEG_BIN / FFPROBE_BIN с полным путём — их читают скрипты в scripts/)
• Whisper (распознавание речи → субтитры): whisper.exe, CUDA. Команда: --model small --device cuda --fp16 False --word_timestamps True --output_format all. fp16 ОБЯЗАТЕЛЬНО False на 16xx (иначе NaN). Модели: base, small, large-v3-turbo (в .cache/whisper).
• Python 3.14 (py), Pillow 12, numpy 2.4 — для рендера кадров кодом, если надо.
• Remotion (настоящий motion-движок): шаблон проекта лежит рядом со скилом в remotion-template/ (remotion 4.0.482, react 19). Скопируй его в рабочую папку, npm i — и адаптируй: src/Moscow.tsx — шаблон композиции (имя историческое, переименуй под свой проект). Проверка: npx remotion compositions должен видеть Test и Moscow; npx remotion render src/index.ts Test <out>.mp4 → mp4, exit 0.
• ⚠️ Лицензия Remotion — шлагбаум (проверено по LICENSE.md 2026-07-17). Бесплатно: физлицу, НКО, компании ≤3 сотрудников, и на этапе оценки. Для роликов клиента-компании крупнее 3 человек нужна платная Company License (remotion.pro). Для личных роликов пользователя — free, вопросов нет. Если ролик коммерческий и лицензии нет — бери движок без этого ограничения (/hyperframes — HTML+GSAP, или ffmpeg-фолбэк ниже) и скажи об этом пользователю, не рендери молча.

Сеть

• Рендер Remotion при первом запуске качает headless-Chrome с storage.googleapis.com — нужен доступ. Всё остальное работает офлайн.
• При рваной сети npm install гони с --maxsockets=2 и длинными ретраями.

Файловые грабли

• Готовые видео класть в <HOME>\Videos (локально), НЕ в папку, которую синхронизирует облако (OneDrive и т.п.): оно утягивает свежие большие файлы → ffmpeg потом «No such file». В облачную папку — копией.
• .ps1 без кириллицы внутри (Win PowerShell 5.1 читает как cp1251 → парс-ошибка). Путь к папке искать в рантайме: [Environment]::GetFolderPath('Desktop') + glob *.MOV/*.ogg.
• .py без кириллических литералов (инструмент записи может их побить). Regex — юникод \W/\w. Текст брать из JSON/файлов. В консоль НЕ печатать эмодзи/× (cp1251 падает).
• Get-ChildItem -Include глючит с -Recurse → использовать -Filter.

Пайплайн

1. Разведка папки (ffprobe): сколько клипов/фото, найти аудио, ориентация, длительности, не «облачные» ли пустышки OneDrive.
2. Голос (если есть озвучка): распознать Whisper'ом (чистые word-тайминги). Убрать повторы/дубли-подходы из аудио: найти подряд повторяющиеся n-граммы в word-json → вырезать atrim+concat → перераспознать. (В голосовых записях часто 2-3 дубля концовки + запинки.)
3. Каталог кадров по смыслу: вытащить по 1 превью на клип (ffmpeg -ss 1.2 -frames:v 1 -vf scale=480:-2), затем Workflow: агенты параллельно Read+описывают каждый кадр, агент-монтажёр строит EDL (какой клип под какие слова — по смыслу). Каталог кэшируй (клипы не меняются) — при перепланах гоняй только фазу плана.
4. Сборка. Два движка:
   • A. Remotion (предпочтительно — реальная motion-графика): генерь src/data.json (EDL клипов, отмасштабированный под длину голоса; слова; иконки-вставки), используй шаблон композиции (заставка → клипы с наездом камеры → караоке-субтитры → анимир. иконки-вставки → голос → финал). Рендер: npx remotion render src/index.ts Moscow OUT --public-dir="<папка-исходник, куда скопирован и голос>". Цветные эмодзи В Remotion рендерятся (Chrome) — бери их для иконок. Рендер долгий (~25-40 мин на ~2.5 мин видео) → СНАЧАЛА превью --frames=0-540.
   • B. ffmpeg-фолбэк (быстро, без 3D-глубины): нарезать клипы EDL (scale+crop 1080x1920, fade-in), concat, впечь ASS-караоке (стиль Default) + иконки-эмодзи (стиль Insert, шрифт Segoe UI Emoji — в libass рисуются монохромно-белыми), голос через adelay под сдвиг заставки.
5. Субтитры: караоке-ASS из word-таймингов (\kf развёртка, спетое=жёлтое, неспетое=белое, \fad). Сдвиг на длину заставки. drawtext-кириллица: fontfile='C\:/Windows/Fonts/arialbd.ttf' + textfile= UTF-8, двоеточие экранировать \:.
6. Проверка: выдёргивать кадры в ключевых точках и СМОТРЕТЬ их (Read png) — особенно ровно на момент вставки/субтитра. Открыть финал Start-Process. Класть в Videos + копия на стол.

Планка качества (выстрадано итерациями)

• Вертикаль 9:16, длина ≈ под голос.
• Кадры подобраны ПО СМЫСЛУ (vision-каталог), не рандом и не просто хронология. Кадр должен ложиться под то, что говорится.
• НЕТ повторов в речи — вырезать запинки/дубли-подходы из аудио.
• Субтитры синхронны по словам (караоке), анимированы.
• Вставки должны быть ВИЗУАЛЬНЫЕ (иконки/эмодзи), а не просто слова-текст.
• Анимация НЕ плоская: в Remotion — 3D (perspective/rotateX/rotateY), пружины с перелётом (overshoot), свечение/тени, параллакс-камера на кадрах, пульс. Глубина и динамика.
• Музыка: если трека нет ни в папке, ни на ПК (Music/Downloads) — скачать нельзя; собрать без музыки и предложить сгенерить через higgsfield (MCP подключён).

Готовые ассеты

• Remotion-проект: remotion-template/ рядом со скилом — src/Moscow.tsx это шаблон (заставка, Clip с камерой, Captions-караоке, Inserts-иконки, Audio). src/data.json — формат данных (заполнен условным примером).
• Скрипты-шаблоны: ~/.claude/skills/video-montage/scripts/ (рабочая папка — VIDEO_WORK, по умолчанию <HOME>\video_work): gen_remotion_data.py (EDL+слова+иконки → data.json), build_edit3.py (ffmpeg-фолбэк со вставками), gen_final_ass.py (караоке+иконки ASS), find_repeats.py (детектор повторов для чистки аудио).