Hypothesis Lab — Виртуальная Лаборатория

Зачем

Один аналитик видит гипотезу через свою линзу. Девять специалистов видят её через девять разных линз — и выявляют слепые пятна которые одиночный взгляд пропустит.

Ключевой принцип Multi-Agent Debate (MAD): когда агенты с разными ролями обсуждают одну гипотезу, они генерируют больше критических замечаний и альтернативных подходов, чем один агент — даже очень умный.

Добавляем встроенного скептика и Рецензента Nature/Science — потому что лучший момент поймать слабости это до того как ты вложил в них полгода.

Отличие от /consilience: consilience = что собирать (5 независимых путей к доказательству), hypothesis-lab = кто обсуждает (9 экспертов × 8 вопросов). Лучше использовать вместе: сначала lab → потом consilience для deepdive по выбранным путям.

Шаг 0 — Контекст проекта + EstimandOps L0

Читай контекст первым

До запуска специалистов прочитай:

1. CLAUDE.md → домен, стек, ограничения
2. .claude/memory/activeContext.md → активные гипотезы
3. null_results/INDEX.md → что уже опровергнуто (не повторяй)
4. experiments/ → что уже пробовали

Выведи блок [ИЗ ПРОЕКТА]:

• Гипотезы которые уже исследовались по этой теме
• Null results (если есть → скажи сразу)
• Ограничения (бюджет, данные, команда, дедлайн)

EstimandOps L0 — Обязательно, до всего остального

Прежде чем специалисты откроют рот — классифицируй вопрос:

Напиши эстиманд одной строкой:

"Мы оцениваем [MEASURE] [ENDPOINT] для [POPULATION], сравнивая [INTERVENTION] vs [COMPARATOR]."

Напиши 2+ пункта что результат НЕ означает.

⚠️ Если тип Causal → перед работой специалистов укажи им: "Работаем с каузальным estimand. Каждый эксперт должен учитывать возможные конфаундеры и ограничения идентификации."

Шаг 1 — 9 Специалистов Виртуальной Лаборатории

Каждый специалист отвечает на 8 вопросов. Вопросы одинаковые для всех — ответы разные.

Восемь Вопросов (для каждого специалиста)

1. Взгляд специалиста: как гипотеза выглядит из вашей области? Что сразу кажется сильным, что вызывает сомнение?
2. Ключевое доказательство: какое одно наблюдение или результат вы хотели бы увидеть чтобы поверить (или разувериться) в гипотезе?
3. Первый эксперимент: опишите минимально жизнеспособный тест который можно запустить за неделю. Что именно измеряем, какой порог успех/провал.
4. Методологический риск: главная угроза валидности вашей линии работы. Как её снизить?
5. AI-ускорение: 2–3 конкретных способа как AI/LLM ускоряет именно вашу экспертизу по этой гипотезе.
6. Публикационный артефакт: что выйдет из вашей работы — рисунок, таблица, supplementary, preprint, код. Конкретно.
7. Предсказание на 30 дней: одно нетривиальное предсказание которое гипотеза делает и которое можно проверить за месяц.
8. Условие фальсификации <F>: при каком конкретном результате вы закрываете вашу линию как нежизнеспособную? Формат: "Этот путь закрывается если [конкретный результат / порог / наблюдение]."

Примечание для Шага 3: после ответа на 8 вопросов каждый специалист неявно занимает позицию — Поддерживает / Нейтрально / Против. Эта позиция будет использована в таблице Lab Consensus Score (Шаг 3.1).

🧠 Специалист 1: Теоретик

Роль: Логические основания. Первые принципы. Математические аргументы.

Почему теория важна: если гипотеза противоречит известным законам или внутренне несогласованна — никакие данные её не спасут. Лучше поймать здесь.

Источники теоретической поддержки:

• Математический вывод из первых принципов (сильный)
• Аналогия с доказанной теорией (умеренный)
• Интуитивное объяснение без формализации (слабый)

📊 Специалист 2: Статистик

Роль: Дизайн, мощность, ошибки вывода.

Почему статистик важен: большинство гипотез умирают от underpowered дизайна или от p-hacking — до этого не доходит. Ловим раньше.

Типичные вопросы статистика:

• Effect size: ожидаемый vs MCID
• Power: N при α=0.05, β=0.20
• Multiple comparisons: как контролируем?
• Confounders: какие учтены, какие нет?

🔬 Специалист 3: Экспериментатор

Роль: Практический сбор данных. Протокол. Контроли.

Ловушки экспериментатора:

• Нет negative control → любой эффект кажется реальным
• Нет positive control → отрицательный результат неинформативен
• Batch effects → вся работа перекошена

Зелёный флаг: dose-response relationship; эффект воспроизводится в разных лабораториях.

💻 Специалист 4: Вычислительный

Роль: Симуляции, модели, in silico эксперименты.

Ловушка вычислительного: модель с N параметрами подгоняется под N точек — ничего не доказывает. Проверяй на held-out данных которые модель не видела.

Типы моделей по силе:

• Дифференциальные уравнения точно предсказывают новые данные (сильный)
• Агентная модель воспроизводит эмерджентный паттерн (умеренный)
• "Похоже на данные визуально" (слабый)

🔗 Специалист 5: Механистик

Роль: Промежуточные переменные. Черный ящик → понятый механизм.

Ключевой тест механизма: "Что случится с Y если заблокировать именно этот механизм, оставив всё остальное?"

• Y исчезает → механизм настоящий
• Y остаётся → механизм не нужен или не верен

Типы механистических доказательств:

• Промежуточные переменные измерены напрямую (сильный)
• Блокировка механизма убирает эффект (очень сильный)
• Аналогия с известным механизмом (слабый)

📚 Специалист 6: Систематик

Роль: Что уже известно. Систематический обзор. Meta-analysis.

Роль систематика: гипотезы часто уже тестировались — неэффективно переизобретать. И наоборот: null results часто не публикуются, а они информативны.

Типичные артефакты: PRISMA flow diagram; forest plot; evidence gap map; narrative review с качественной оценкой.

Красный флаг: нет ни одной релевантной статьи → либо очень новая территория, либо поиск неверный.

⚡ Специалист 7: AI-Нативный

Роль: Что можно сделать только с AI что раньше было невозможно или стоило месяцы.

Уникальный агент этого шаблона: не "как AI помогает" (это есть у всех), а что ПРИНЦИПИАЛЬНО НОВОЕ AI делает возможным.

Типичные AI-нативные подходы:

• Автоматический скрининг тысяч статей (Semantic Scholar API + LLM)
• Синтез гипотез из перекрёстных доменов (что физик знает о биологии?)
• Автоматическая генерация counter-hypotheses и поиск подтверждений для каждой
• LLM-assisted experimental design с instant feedback
• Embeddings для обнаружения латентных паттернов в неструктурированных данных

Фокус ответа на вопрос 5 (AI-ускорение): что из этого было бы невозможно без AI за разумный бюджет — не "ускоряет", а именно "открывает новое".

🔴 Специалист 8: Скептик

Роль: Adversarial challenger. Ищет где гипотеза неправа.

Зачем скептик в панели: agreeableness bias — другие специалисты склонны найти поддержку гипотезы в своей области. Скептик компенсирует.

Вопросы скептика:

• Какой альтернативный объяснение всех данных без этой гипотезы?
• Какой самый слабый элемент аргументации?
• Где publication bias мог скрыть null results?
• Какой эксперимент точнее всего мог бы опровергнуть гипотезу?
• Что в истории науки похоже на этот pattern — и оказалось ложным?

Формат ответа скептика: начинать с "Главное слабое место — ...", не с поддержки.

📰 Специалист 9: Рецензент Nature/Science

Роль: Взгляд top-tier рецензента. Что пройдёт, что нет, как усилить.

Уникальный угол: не "сработает ли это научно" (это другие эксперты), а "пройдёт ли это рецензию и зачем это важно шире?"

Критерии Nature/Science-tier:

• Широкий интерес (не только узкой области)
• Новизна подхода или результата
• Комплексность доказательства (нужен consilience)
• Механистическое понимание (не только ассоциация)
• Воспроизводимость (данные открыты, протокол детален)

8 стандартных вопросов применяются к Рецензенту так же как к другим специалистам. Фокус вопросов 1 и 4 — публикационная ценность и методологические требования журнала.

<F> для Рецензента: "Эта работа не пройдёт рецензию если ..." — конкретный недостаток, не размытое "нужно больше данных".

Шаг 2 — Тег <unknown>

По ходу ответов специалистов отмечай неизвестное:

<unknown id="U1">Неизвестно: размер эффекта в человеческой популяции</unknown>
<unknown id="U2">Неизвестно: стоимость N=1000 эксперимента</unknown>
<unknown id="U3">Неизвестно: существующие null results по механизму X</unknown>

После всех специалистов выведи Реестр неизвестного с тремя колонками: <unknown> | Кто должен ответить | Как найти ответ (конкретно).

Неизвестное — не слабость плана. Неизвестное которое ты не знаешь что не знаешь — слабость.

Шаг 3 — Совет Лаборатории

После ответов всех 9 специалистов — синтез.

3.1 Lab Consensus Score

Сколько независимых специалистов дали поддерживающий ответ (не нейтральный, не скептический)?

Lab Consensus Score:

• Поддерживают: X/9 специалистов
• Принципиальных возражений (от Скептика или Рецензента): Y
• Условий фальсификации <F> которые уже сработали: Z

Интерпретация:

• ≥7/9 поддерживают + 0 <F> сработало → Proceed (запускай полный consilience план)
• 5–6/9 + принципиальные возражения → Revise (доработай гипотезу, затем повтори)
• <5/9 или ≥2 <F> сработало → Pause (нужна фундаментальная переформулировка)

3.2 Шесть Стратегических Путей

На основе ответов специалистов Claude (в роли Совета) рекомендует 1–2 приоритетных пути из 6 и объясняет выбор. Таблица показывает все варианты — чтобы читатель мог выбрать иначе если его ограничения другие:

Для каждого пути напиши:

• Конкретный первый шаг (что делать завтра утром)
• Ключевой артефакт (что получим)
• Главный риск (что может не сработать)
• Связь с ответами специалистов (кто из 9 поддерживает этот путь)

Шаг 4 — Roadmap (24ч / 7д / 30д / 90д)

⏰ Следующие 24 часа:
  □ [конкретное действие]
  □ [конкретное действие]
  □ Определиться с путём (из 6 выше)

📅 Следующие 7 дней:
  □ Первый эксперимент (из рекомендации Экспериментатора)
  □ Literature review (из рекомендации Систематика)
  □ [Если Causal] Набросок DAG

📅 Следующие 30 дней:
  □ Пилот данных по 2 путям
  □ Проверить 30-дневные предсказания специалистов
  □ Обновить `<unknown>` реестр (что узнали, что ещё не знаем)

📅 Следующие 90 дней:
  □ Полная consilience-оценка (5 путей)
  □ Pre-registration (OSF) если идём к публикации
  □ Go/no-go по скорингу ≥6/10 для продолжения

Шаг 5 — Null Results Protocol

Если Lab Consensus Score < 7/9 (Revise или Pause по таблице выше) OR ≥2 <F> условия сработали:

# Null Lab Result — [гипотеза, дата]

Lab Consensus Score: X/9 поддерживают
<F> сработало: [список специалистов чьи kill conditions выполнились]

Почему остановились:
- [конкретная причина]

Что нужно чтобы вернуться:
- [конкретное условие — новый метод / новые данные / переформулировка]

Что узнали (полезное):
- [что выяснилось в процессе]

#null-result #hypothesis-lab #[тема]

Сохрани в null_results/ проекта или ~/.claude/memory/raw/.

Связанные скилы

• /sci-evidence falsify — сначала (5 миров где гипотеза неправа, 15 мин)
• /consilience — после lab (глубокий A-F анализ по 5 путям)
• /proof-ladder — стратегический уровень доказательства (публикация? грант? внутреннее решение?)
• /scientific-research — проектный уровень (baseline.py, kill criteria, vault)
• /boyko-scientific-consortium — консорциум-обёртка, делегирует сюда генерацию альтернативных объяснений

Рекомендуемый порядок: /sci-evidence falsify → /hypothesis-lab → /consilience → /proof-ladder