VLM + Segmentation + Diffusion Engineering

Скилл охватывает три тесно связанных домена. Выбери нужный раздел и загрузи соответствующий reference-файл.

Навигация по доменам

Правило выбора: если вопрос смешивает темы (например, "как деплоить диффузионную модель на H100") — прочитай оба релевантных файла.

Быстрые ответы без чтения reference-файлов

Candidate pipeline "фраза → маски"

1. SAM3 PCS (текстовый концепт) → instance masks + boxes + scores
   ИЛИ
   Grounding DINO / OWLv2 / YOLO-World → boxes → SAM2.1 → masks

2. Part-labeling: отдельный классификатор по ROI + фиксированный словарь

Candidate diffusion pipeline

1. Backbone: UNet (просто) или DiT/Flow (масштабирование)
2. Latent diffusion (VAE → латенты → денойзер → VAE decode)
3. Text encoder: CLIP (SD), два CLIP (SDXL), Qwen3 (Flux.2 klein 9B)
4. Fine-tune: начинать с LoRA, full fine-tune только если нужно
5. Memory: AMP (BF16) → checkpointing → ZeRO/FSDP при масштабе

Two SAM3 instances on H100 (only after host inspection)

MIG can provide hardware partitioning where the inspected GPU, driver, current
MIG layout and workload support it. It changes host GPU configuration: preserve
the current layout and obtain explicit operational approval before any change.

MPS (fallback) → кооперативный шеринг, без строгой изоляции

Ключевые характеристики моделей (быстрая справка)

Критические предупреждения

• SAM3: gated access на HF, кастомная SAM License — проверь перед продакшном
• YOLO-World: upstream states GPL-3.0 and supports commercial usage. GPL obligations apply by default; obtain a separate commercial licence only when the intended distribution or policy requires terms outside GPL, with legal review for the specific product.
• Замена text encoder: не plug-and-play, нужен projection + переобучение cross-attention
• MIG vs MPS: только MIG даёт аппаратную изоляцию VRAM/SM; MPS — кооперативный шеринг
• For non-English prompts, compare the target model’s supported languages on a representative evaluation set; do not silently translate or claim a universal English advantage.