👁 대장간 배지
👁 pypi 패키지
👁 Image

📖 개요

Oxylabs MCP 서버는 AI 모델과 웹을 연결하는 다리 역할을 합니다. 모든 URL을 스크래핑하고, JavaScript가 많이 사용되는 페이지를 렌더링하고, AI가 사용할 수 있도록 콘텐츠를 추출 및 포맷하고, 스크래핑 방지 조치를 우회하고, 195개국 이상에서 지리적으로 제한된 웹 데이터에 접근할 수 있습니다.

이 구현은 MCP(모델 컨텍스트 프로토콜)를 활용하여 AI 어시스턴트가 웹 콘텐츠와 상호 작용할 수 있는 안전하고 표준화된 방식을 만듭니다.

Related MCP server: FreeCrawl MCP Server

✨ 주요 특징

• 복잡한 단일 페이지 애플리케이션을 포함한 모든 URL에서 데이터 추출

• 헤드리스 브라우저 지원을 사용하여 동적 웹사이트를 완벽하게 렌더링합니다.

• 전체 JavaScript 렌더링, HTML 전용 또는 없음을 선택하세요

• 사실적인 렌더링을 위해 모바일 및 데스크톱 뷰포트를 에뮬레이션합니다.

• 가독성 향상을 위해 HTML을 자동으로 정리하고 Markdown으로 변환합니다.

• Google, Amazon 등 인기 있는 타겟에는 자동화된 파서를 사용합니다.

• 높은 성공률로 정교한 봇 보호 시스템을 우회하세요

• 가장 복잡한 웹사이트도 안정적으로 스크래핑합니다.

• 195개 이상의 국가를 포괄하는 프록시 풀에서 자동으로 회전되는 IP를 받으세요

• 필요한 경우 렌더링 및 구문 분석 옵션을 설정합니다.

• AI 모델이나 분석 도구에 직접 데이터를 공급합니다.

• macOS, Windows 및 Linux에서 작동합니다.

• 포괄적인 오류 처리 및 보고

• 스마트한 속도 제한 및 요청 관리

💡 예시 쿼리

Claude 로 MCP 서버를 설정하면 다음과 같은 요청을 할 수 있습니다.

• https://www.google.com/search?q=ai 페이지를 스크래핑해 주실 수 있나요?

• 파싱이 활성화된 https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V 를 스크래핑합니다.

• 파싱 및 렌더링을 활성화하여 https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0 을 스크래핑합니다.

• 렌더링 과 함께 웹 차단 해제 도구를 사용하여 https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c 스크래핑하세요.

✅ 필수 조건

시작하기 전에 다음 사항이 있는지 확인하세요.

• Oxylabs 계정 : Oxylabs 에서 사용자 이름과 비밀번호를 받으세요(1주일 무료 체험 가능)

기본 사용법

Smithery CLI를 통해:

• Node.js (v16+)

• npx 명령줄 도구

uv를 통해:

• uv 패키지 관리자 - 이 가이드를 사용하여 설치하세요

로컬/개발자 설정

• 파이썬 3.12+

• uv 패키지 관리자 - 이 가이드를 사용하여 설치하세요

🧩 API 매개변수

Oxylabs MCP 서버는 다음 매개변수를 지원합니다.

⚙️ 기본 설정 지침

Smithery를 통해 설치

Smithery를 통해 Oxylabs MCP 서버를 자동으로 설치합니다.

지엑스피1

현재 Oxylabs가 지원하는 클라이언트 목록:

• 클로드

• 커서

수동 MCP 구성 옵션

1. uvx 사용하여 구성합니다. Oxylabs API를 직접 호출하는 CLI 클라이언트와 Oxylabs MCP 서버를 설치합니다. 현재 권장되며 가장 안정적인 옵션입니다.

   {
    "mcpServers": {
    "oxylabs_scraper_uvx": {
    "command": "uvx",
    "args": [
    "oxylabs-mcp"
    ],
    "env": {
    "OXYLABS_USERNAME": "OXYLABS_USERNAME",
    "OXYLABS_PASSWORD": "OXYLABS_PASSWORD"
    }
    }
    }
   }

2. npx 로 구성합니다. Smithery에 호스팅된 Oxylabs MCP 서버에 대한 호출을 수행하는 Smithery CLI 클라이언트를 설치합니다.

   {
    "mcpServers": {
    "oxylabs-mcp": {
    "command": "npx",
    "args": [
    "-y",
    "@smithery/cli@latest",
    "run",
    "@oxylabs/oxylabs-mcp",
    "--config",
    "\"{\\\"oxylabsUsername\\\":\\\"OXYLABS_USERNAME\\\",\\\"oxylabsPassword\\\":\\\"OXYLABS_PASSWORD\\\"}\""
    ]
    }
    }
   }

3. uv 로 구성합니다. 로컬 코드를 참조하는 CLI 클라이언트와 Oxylabs MCP 서버가 설치됩니다. 로컬 개발을 위한 것입니다.

   {
    "mcpServers": {
    "oxylabs_scraper": {
    "command": "uv",
    "args": [
    "--directory",
    "/<Absolute-path-to-folder>/oxylabs-mcp",
    "run",
    "oxylabs-mcp"
    ],
    "env": {
    "OXYLABS_USERNAME": "OXYLABS_USERNAME",
    "OXYLABS_PASSWORD": "OXYLABS_PASSWORD"
    }
    }
    }
   }

[!NOTE] uvx 유틸리티가 없으면 먼저 brew install uv 사용하여 설치해야 합니다.

[!TIP] uvx 관련 오류가 발생하면 command 필드에 uvx 의 전체 경로를 입력해 보세요. 예: /Users/my-user/.local/bin/uvx . Windows를 사용 중이고 커서 관련 문제가 발생하는 경우 여기에 설명된 지침을 참조하세요.

Claude Desktop을 사용한 수동 설정

Claude → 설정 → 개발자 → 구성 편집 으로 이동하여 위의 구성 중 하나를 claude_desktop_config.json 파일에 추가합니다.

커서 AI를 사용한 수동 설정

커서 → 설정 → 커서 설정 → MCP 로 이동합니다. '새 글로벌 MCP 서버 추가'를 클릭하고 위의 구성 중 하나를 추가합니다.

💻 로컬/개발자 설정 지침

복제 저장소

git clone <git:url>

종속성 설치

MCP 서버 종속성을 설치합니다.

cd mcp-server-oxylabs

# Create virtual environment and activate it
uv venv

source .venv/bin/activate # MacOS/Linux
# OR
.venv/Scripts/activate # Windows

# Install dependencies
uv sync

🐞 디버깅

make run

그런 다음 http://localhost:5173 에서 MCP Inspector에 접속하세요. Inspector의 OXYLABS_USERNAME 과 OXYLABS_PASSWORD 항목에 사용자 이름과 비밀번호를 환경 변수로 추가해야 할 수도 있습니다.

특허

이 프로젝트는 MIT 라이선스 에 따라 라이선스가 부여되었습니다.

옥실랩스 소개

2015년에 설립된 Oxylabs는 최고의 비즈니스, 윤리 및 규정 준수 표준을 기반으로 하는 시장을 선도하는 웹 인텔리전스 수집 플랫폼으로, 전 세계 기업이 데이터 기반 통찰력을 얻을 수 있도록 지원합니다.

👁 영상

Maintenance

Resources

• Remote Server
• GitHub Repository
Need Help?
• Reddit Discussion
Related Servers

Tools

• amazon_product_scraperB
• amazon_search_scraperA
• google_search_scraperA
• universal_scraperA