scraping
Skill9 starsChanged 13 days agoMITView on GitHub
Scraping de données publiques via Apify pour {{COMPANY_NAME}} (benchmark concurrent, audit social, veille) : run d'Actor, dataset, export json/csv, synthèse. À utiliser quand il faut des données externes structurées (posts, fiches, avis) que la recherche web ne donne pas.
- Reads credentials
- Sends data out
1 other project uses a version of this.
Adopted by
Most recently taken up by
- mj-deving/pai-skillstheir own version, first seen Apr 27, 2026
Other versions1 project uses a version of this.
Word for word · 0
None found.
Edited · 0
None found.
Wrote their own version · 1
- mj-deving/pai-skills★ 0same name
How matches are found. Word for word: the exact same text. Edited: shares passages with this file (“99% same” means 99% of its five-word phrases also appear here; 10% or more counts). Their own version: similar meaning, or, weakest, the same name. We can’t tell which project had it first. Projects are counted among the 200 most-starred candidates, and mentions are links to the repository we found, up to 50 per site, so both counts are a floor.
In this repository75 other files it gives its agents.
- 00-intel/CLAUDE.mdCLAUDE.md
- 01-brand/CLAUDE.mdCLAUDE.md
- 02-strategy/CLAUDE.mdCLAUDE.md
- 03-social-media/CLAUDE.mdCLAUDE.md
- 04-email/CLAUDE.mdCLAUDE.md
- 05-web-content/CLAUDE.mdCLAUDE.md
- 06-graphic-design/CLAUDE.mdCLAUDE.md
- 07-events/CLAUDE.mdCLAUDE.md
- 08-video/CLAUDE.mdCLAUDE.md
- 09-seo/CLAUDE.mdCLAUDE.md
- 10-automatisations/CLAUDE.mdCLAUDE.md
- 11-reporting/CLAUDE.mdCLAUDE.md
- 12-acquisition/CLAUDE.mdCLAUDE.md
- 14-print/CLAUDE.mdCLAUDE.md
- CLAUDE.mdCLAUDE.md
- accessibility-webSkill
- ads-auditSkill
- animation-animejsSkill
- animation-gsapSkill
- animation-lottieSkill
- animation-scroll-revealSkill
- backport-to-templateSkill
- blog-engineSkill
- brand-checkSkill
- brandkitSkill
- captionsSkill
- carouselSkill
- cockpit-setupSkill
- content-strategySkill
- copy-editingSkill
- copywritingSkill
- cro-formSkill
- cro-pageSkill
- cro-popupSkill
- cro-pricingSkill
- deploy-reportingSkill
- design-directionSkill
- design-redesignSkill
- design-reviewSkill
- design-systemSkill
- design-tasteSkill
- email-deliverabilitySkill
- emailSkill
- event-marketingSkill
- humanize-writingSkill
- image-generationSkill
- inventorySkill
- landing-pageSkill
- lead-magnetSkill
- manim-ceSkill
- manim-composerSkill
- motion-designSkill
- n8n-auditSkill
- n8n-builderSkill
- performance-reportSkill
- printSkill
- reel-talking-headSkill
- sea-google-adsSkill
- seo-auditSkill
- seo-clusterSkill
- The first 60 shown.
The file
Files
scraping — collecte de données via Apify
Tu es l'opérateur de scraping de {{COMPANY_NAME}}. Tu utilises la plateforme Apify (API REST, Actors du Store — pas de code d'Actor custom) pour collecter des données publiques structurées, puis tu les transformes en livrables d'analyse.
Prérequis
$APIFY_TOKENdoit être défini dans.env(formatapify_api_..., configuré au wizard/tools-setup). Vérifier :grep -q APIFY_TOKEN .env. S'il manque, s'arrêter et guider l'utilisateur (console Apify → Settings → API tokens), sans jamais écrire la clé dans un fichier suivi par git ni dans le chat.- Toujours référencer la clé via
$APIFY_TOKENdans les commandes (source .envd'abord). Jamais de clé littérale. - Les runs Apify consomment des crédits payants : toujours plafonner le volume (
limit,maxItems,resultsLimitselon l'Actor).
Workflow Apify générique
- Chercher l'Actor sur le Store :
Choisir un Actor maintenu (note, nombre d'utilisateurs) et vérifier soncurl -s -H "Authorization: Bearer $APIFY_TOKEN" \ "https://api.apify.com/v2/store?search=<mots-clés>&limit=10"exampleRunInputavant de lancer. Réutiliser en priorité un Actor déjà utilisé dans ce repo (noter les Actors éprouvés dans le livrable pour la prochaine fois). - Lancer un run (synchronement si possible) :
Récupérercurl -s -X POST -H "Authorization: Bearer $APIFY_TOKEN" -H "Content-Type: application/json" \ "https://api.apify.com/v2/acts/<user>~<actor>/runs?waitForFinish=300" \ -d '{ "...input JSON avec plafond d’items..." }'data.id(runId) etdata.defaultDatasetIddans la réponse. Si le run dépasse 300 s, pollerGET /v2/actor-runs/<runId>jusqu'àSUCCEEDED. - Récupérer le dataset :
curl -s -H "Authorization: Bearer $APIFY_TOKEN" \ "https://api.apify.com/v2/datasets/<datasetId>/items?format=json" > <cible>/data.json # et si utile en tabulaire : "https://api.apify.com/v2/datasets/<datasetId>/items?format=csv" > <cible>/data.csv - Livrer : brut
.json(+.csvsi pertinent) + synthèse.mdlisible, dans le dossier du cas d'usage (voir ci-dessous). Nommersujet_contexte_YYYY-MM-DD.ext.
Docs : API v2 → https://docs.apify.com/api/v2 — Store → https://apify.com/store. Vérifier les endpoints dans la doc avant tout nouvel appel (règle « verify, do not trust » du CLAUDE.md racine).
Cas d'usage 1 — Benchmark concurrent
Livrable → 02-strategy/benchmarks/<concurrent>-YYYY-MM.md (+ data/ pour le brut).
- Cadrer avec l'utilisateur : quel concurrent (idéalement dans la liste
veille.competitorsde.setup-completed), quelles surfaces (site, posts sociaux, avis, fiches locales), quelle profondeur (plafond d'items). - Scraper chaque surface via le workflow générique (Actor adapté : scraper web, scraper de posts, scraper d'avis...).
- Synthèse comparative structurée : positionnement affiché, offres/prix publics, messages récurrents, preuves mises en avant, angles de contenu — et pour chaque axe, le contraste avec {{COMPANY_NAME}} (s'appuyer sur
01-brand/messaging-framework.md). - Terminer par 3-5 implications actionnables (angles différenciants, contre-arguments, trous à occuper), chacune référençant les données scrapées.
Cas d'usage 2 — Audit social média d'un compte
Livrable → 03-social-media/audits/<compte>-YYYY-MM.md (+ brut .json à côté).
- Scraper le contenu du compte (le sien, un concurrent, un modèle inspirant) : Actor de récupération de posts du réseau visé (ex. posts d'un profil ou d'une page LinkedIn, Instagram, TikTok). Plafonner à 30-50 posts récents.
- Appliquer la grille d'analyse :
- Fréquence : posts/semaine, régularité, jours et heures de publication
- Formats : répartition texte / image / carrousel / vidéo / lien — quels formats dominent
- Engagement : réactions, commentaires, partages par post ; moyenne, médiane, top 5 posts et pourquoi ils performent (accroche, sujet, format)
- Thèmes : catégoriser les posts en 4-6 thèmes récurrents avec leur part et leur engagement relatif
- Conclure : ce qui marche pour ce compte, ce qui est transposable à {{COMPANY_NAME}} (calibré voix et personas de
01-brand/), ce qu'il ne faut pas copier. - Si l'audit porte sur le compte de la marque elle-même : ajouter l'écart entre la cadence cible ({{CONTENT_CADENCE_LINKEDIN}}) et la cadence réelle, et l'équilibre constaté des piliers.
Cas d'usage 3 — Collecte de données pour la veille
Livrable → 02-strategy/veille/YYYY-WW/data/<sujet>.json + section sourcée dans la synthèse de veille.
- Invoqué en soutien de la skill
veille-strategyquand la recherche web ne suffit pas : posts récents des comptes concurrents, avis clients récents, annonces sur une place de marché, offres d'emploi d'un concurrent... - Runs légers (plafonds bas, données des 7-30 derniers jours selon la cadence de veille).
- Chaque donnée injectée dans la veille garde sa traçabilité : Actor utilisé, date du run, compte/URL source — c'est ce qui permet à
veille-strategyde citer ses signaux.
Règles dures
- Plafonner chaque run (crédits payants) et annoncer le volume avant de lancer.
- Jamais de secret en clair —
$APIFY_TOKENuniquement,.envest dans.gitignore. - Données personnelles scrapées (profils, contacts) : usage interne analyse/veille uniquement ; ne jamais les republier telles quelles dans un contenu, conformément à
SECURITY.md. - Respecter les conditions des plateformes scrapées ; en cas de doute sur la légitimité d'une collecte, demander à l'utilisateur.
Ce que cette skill ne fait PAS
- ❌ La veille éditoriale elle-même (→
veille-strategy, qui peut t'appeler) - ❌ Rédiger du contenu à partir des données (→ skills de production)
- ❌ Écrire des Actors Apify custom
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

