n8n과 웹 크롤러를 연동하여 24시간 자동화 워크플로우 만들기

 n8n + 웹 크롤러로 24시간 자동화 워크플로우 만드는 건 충분히 가능하지만, 그냥 “돌린다” 수준으로 하면 금방 막히거나(차단, 403, IP블락), 데이터가 깨집니다. 구조를 제대로 잡아야 돈 되는 시스템이 됩니다.

아래는 초보 → 실전 수익화까지 가능한 설계입니다.

1️⃣ 전체 구조 (핵심 이해)

6

👉 기본 흐름은 이거 하나로 끝납니다:

[크론 실행] → [웹 크롤링] → [데이터 가공] → [저장] → [알림/배포]

✔ 구성 요소

n8n → 자동화 엔진 (두뇌)

크롤러 → 데이터 수집 (손)

DB → 저장 (기억)

프록시/헤드리스 → 차단 회피 (방패)

2️⃣ n8n 워크플로우 기본 구성

① Cron (자동 실행)

5분 / 10분 / 1시간 간격 설정

② HTTP Request (크롤링)

GET 요청으로 페이지 가져오기

User-Agent 필수 설정

③ HTML Extract (데이터 추출)

CSS Selector 사용

예: .title, .price

④ Function Node (데이터 가공)

return items.map(item => {

  return {

    json: {

      title: item.json.title.trim(),

      price: parseInt(item.json.price.replace(/,/g, ''))

    }

  }

});

⑤ DB 저장

MySQL / PostgreSQL 추천

⑥ IF 조건

가격 변동 / 신규 데이터 필터링

⑦ 알림

텔레그램 / 디스코드 / 이메일

3️⃣ 크롤링 방식 선택 (중요)

✔ 1. 단순 사이트 (정적)

n8n HTTP로 충분

속도 빠름

✔ 2. 동적 사이트 (JS 렌더링)

4

👉 이건 무조건 필요:

Puppeteer

Playwright

👉 n8n에서 실행 방법

Execute Command node

또는 Webhook으로 외부 서버 호출

4️⃣ 24시간 안정 운영 핵심 (여기서 90% 갈림)

🚫 실패하는 구조

IP 1개로 계속 긁음

헤더 없음

속도 빠름

→ 바로 차단됨

✔ 필수 요소

① 프록시 (IP 분산)

Rotating Proxy

최소 5~20개

② User-Agent 랜덤

const agents = [

  "Mozilla/5.0 ... Chrome",

  "Mozilla/5.0 ... Safari"

];

③ 요청 간 딜레이

2~10초 랜덤

④ 에러 재시도

n8n Retry 기능 사용

5️⃣ 실제 돈 되는 자동화 예시

💰 1. 가격 추적 (쿠팡/네이버)

가격 떨어지면 알림

제휴마케팅 연결

💰 2. 뉴스/이슈 자동 수집

키워드 크롤링 → 블로그 자동 작성

💰 3. 채용/입찰 정보

신규 공고 감지 → 텔레그램 전송

💰 4. SNS 콘텐츠 자동 생성

트렌드 → GPT → 자동 업로드

6️⃣ 서버 구성 (현실적인 추천)

✔ 최소 구성

Ubuntu 서버

Docker

n8n 컨테이너

👉 추천 조합:

n8n + PostgreSQL

Redis (큐 처리)

7️⃣ 추천 전체 구조 (실전형)

[CRON]

  ↓

[n8n]

  ↓

[Queue (Redis)]

  ↓

[크롤러 서버 (Puppeteer)]

  ↓

[DB 저장]

  ↓

[AI 가공]

  ↓

[블로그 / SNS 자동 업로드]

8️⃣ 흔한 문제 (미리 막아라)

403 Forbidden → 헤더 문제

CAPTCHA → 프록시 + 속도 조절

데이터 깨짐 → selector 잘못

서버 다운 → Docker 재시작 설정

9️⃣ 핵심 한줄 정리

👉 “크롤링”보다 중요한 건

안 막히고 24시간 돌아가는 구조 설계다.