agentleFS
matvej-melikhovmatvej-melikhov/karpathy-llm-wiki/.claude/skills/ingest/SKILL.md

ingest

Skill2 starsChanged 6 months agoMITView on GitHub

Загрузка источников в Obsidian wiki-vault. Читает источник, синтезирует знание в страницы ideas/ и entities/, проставляет перекрёстные ссылки, записывает провенанс. Поддерживает файлы, URL, изображения и пакетный режим. Триггеры: ingest, /ingest, обработай этот источник, добавь это в wiki, прочитай и зафайлируй, batch ingest, ingest этот url.

90 other projects use a version of this.

Adopted by

Most recently taken up by

Used with

Projects with it also use daily-arxiv, exp-eval and 10 more.

Other files people use alongside this one.

Files found in the same public projects as a version of this one, more often than they turn up anywhere else. Each project counts once, large collections count for less, and this file's own repository is left out.
  • LambenthanSkill

    daily-arxiv

    每日从 arXiv 拉取新论文,过滤相关性,auto-ingest 高优先级论文,检测 SOTA 更新

    Also in 5 projects that use this

  • LambenthanSkill

    exp-eval

    实验判决门:Review LLM 独立评判实验结果 → 4 种判决路径 → 自动更新 claims confidence、ideas status、graph edges

    Also in 5 projects that use this

  • phanghonghaoSkill

    poster

    HTML/CSS A4 海报生成。从沙龙/活动 Markdown 文件生成科技风 A4 海报 PDF/PNG。Use when user mentions: poster, 海报, 海报生成, make poster, generate poster, 活动海报, 沙龙海报.

    Also in 5 projects that use this

  • skyllwtSkill

    exp-pilot-eval

    Pilot result evaluation — read pilot results, apply success criteria, update idea page (pilot_result, failure_reason if failed), generate PILOT_VERDICT_REPORT. Called by /ideate Phase 5 after /exp-pilot-run.

    Also in 4 projects that use this

  • skyllwtSkill

    exp-pilot-run

    Pilot experiment execution — read Pilot Spec YAML, write pilot code, run experiment(Confirm with the user before operation and require the applicant to conduct manual inspection), return results. Called by /ideate Phase 5. Does NOT modify wiki pages or judge pass/fail.

    Also in 4 projects that use this

  • +6 more from Lambenthan
  • +1 more from skyllwt

The file

Files
SKILL.md

ingest: синтез источников в wiki

Прочитать источник → построить карту знания → решить гранулярность → создать или обогатить страницы → связать всё через wikilinks и frontmatter.

Один источник обычно затрагивает 5-15 wiki-страниц. Знание накапливается на одной странице из нескольких источников — это и есть compounding knowledge.

Стандарт синтаксиса: пиши весь Obsidian Markdown в правильном Obsidian Flavored Markdown (wikilinks [[Note]], embeds ![[file]], properties как YAML frontmatter). Детали — скилл obsidian-markdown.


Команда и флаги

КомандаПоведение
/ingest [источник]Стандартный режим: прочитать → обсудить ключевые выводы → синтезировать страницы
/ingest --auto [источник]Автоматический режим: пропустить обсуждение, сразу синтезировать
/ingest --force [источник]Принудительный пересинтез: игнорировать дедуп через manifest
/ingest [несколько источников]Пакетный режим (см. ниже)

Для починки накопленных issues без нового источника — /lint. Он сам запустит script auto-fixes, agent fixes и ask-dialogue.


Маршрутизация по типу источника

ИсточникЧто читать
Markdown файл (raw/<path>.md)references/dedup.md (проверка hash) → Synthesis Workflow
PDF/DOCX (raw/formats/<file> или raw/<file>)сначала вызвать /transcribe → восстановленный .md в raw/ → Synthesis Workflow
URL (https://...)references/url-ingestion.md (defuddle + URL-дедуп) → Synthesis Workflow
Изображение (.png/.jpg/.jpeg/.gif/.webp/.svg/.avif)секция Image ingestion ниже → Synthesis Workflow

Synthesis Workflow

Восемь фаз. Никаких сокращений или импровизации последовательности — каждая фаза имеет свою цель.

#ФазаЦель
1Прочитать источник целикомПонять структуру знания, не создавая страниц
2Построить карту знанияВыделить концепции / сущности / утверждения
3Решить гранулярностьДля каждой единицы — будет ли своя страница (критерии в reference)
4Написать или обновитьСоздать новую (по шаблону) или дополнить существующую
5Связать страницыfrontmatter (sources/related/tags/domain) + inline wikilinks
6Обновить инфраструктуруlog.md, cache.md, summary.md. wiki/index.md не трогать — генерируется автоматически
7Domain proposalЕсли порог N=10 пройден тегом без domain — предложить создать
8Lint reviewвызвать /lint — он сам запустит bin/static_lint.py, применит script auto-fixes и agent fixes, проведёт ask-dialogue с пользователем

Полные детали фаз 1-7: references/synthesis-phases.md. Полный pipeline Phase 8: .claude/skills/lint/SKILL.md — ingest просто делегирует.

После Phase 8 — записать запись в raw/meta/ingested.json (см. references/dedup.md).


Image / Vision ingestion

Триггер: пользователь передаёт путь к файлу изображения (.png, .jpg, .jpeg, .gif, .webp, .svg, .avif).

  1. Если оригинал не в raw/formats/ — переместить в raw/formats/<slug>.<ext>.
  2. Прочитай файл изображения через инструмент Read. Агент обрабатывает изображения нативно.
  3. Опиши содержимое: извлеки весь текст (OCR), идентифицируй ключевые идеи, сущности, диаграммы, данные.
  4. Сохрани описание в raw/<slug>-<YYYY-MM-DD>.md:
    ---
    source_type: image
    original_file: raw/formats/<slug>.<ext>
    fetched: YYYY-MM-DD
    ---
    # Изображение: <slug>
    
    [Полное описание содержимого, транскрибированный текст, видимые сущности и т.д.]
  5. Продолжи с Synthesis Workflow на сохранённом файле описания.

Применение: фотографии whiteboard, скриншоты, диаграммы, инфографика, сканы документов.


Batch Ingest

Триггер: пользователь кладёт несколько файлов или говорит "ingest все".

  1. Перечисли все файлы для обработки. Подтверди с пользователем перед стартом.
  2. Обработай каждый источник по synthesis workflow. Cross-referencing между источниками отложи до шага 3.
  3. После всех источников: сделай проход cross-reference. Найди связи между новыми страницами разных источников.
  4. Обнови index (additive), log (append сверху, по записи на источник) и cache (overwrite целиком, отражает только последнее состояние) — один раз в конце, не на каждый источник.
  5. Phase 8 (lint review) — один раз в конце, не на каждый источник.
  6. Отчитайся: "Обработано N источников. Создано X страниц, обновлено Y. Вот ключевые связи."

Batch ingest менее интерактивен. Для 30+ источников ожидай значительное время обработки. Чекинься с пользователем после каждых 10 источников.


Дисциплина токенов

  • Сначала прочитай wiki/cache.md. Если содержит релевантный контекст — не перечитывай связанные страницы целиком.
  • Прочитай wiki/index.md (таблицы со саммари) для поиска существующих страниц до создания новых.
  • Читай не более 3-5 существующих страниц за один ingest. Если нужно 10+ — значит, читаешь слишком широко.
  • Используй точечные правки (Edit), не Write для всего файла, при обновлении существующих страниц.
  • Wiki-страницы держи короткими: 100-300 строк. Если страница больше 300 — раздели по гранулярности.

Чего не делать

  • Не пиши страницы как пересказ источника. Пиши знание (декларативное настоящее время). Источник — провенанс, а не сюжет страницы.
  • Не пропускай Phase 2 (карта знания). Без неё ingest деградирует в одну большую страницу или в хаос.
  • Не пропускай Phase 5 (связи). Страница без wikilinks и без sources: — мёртвая страница.
  • Не пропускай обновление cache и summary в Phase 6. Cache — то, что делает следующие сессии быстрыми.

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.