# Agente de Web Scraping IA

> Web scraping com IA utilizando ScrapeGraphAI - extrai dados estruturados de websites através de prompts em linguagem natural. Este agente funciona localmente com a biblioteca open-source scrapegraphai.

- Fonte: https://doutorai.pt/apps/web-scraping-ai-agent
- Categoria: Agentes para Começar
- Dificuldade: Fácil
- Modelos: OpenAI, Llama
- Frameworks: Ollama (local)
- Corre local?: Sim (Ollama)
- Chaves necessárias: Nenhuma
- Licença: Apache-2.0
- Site: Doutor AI (https://doutorai.pt) - ferramentas de IA para pequenos negócios em português

## Tutorial completo

# 🕷️ Web Scraping AI Agent

### 🎓 TUTORIAL GRATUITO Passo-a-Passo
**👉 [Clica aqui para seguir o nosso tutorial completo passo-a-passo](https://www.theunwindai.com/p/build-a-web-scraping-ai-agent-with-llama-3-2-running-locally) e aprende como construir isto do zero com explicações detalhadas e melhores práticas.**

Web scraping potenciado por IA utilizando **ScrapeGraphAI** - extrai dados estruturados de websites utilizando prompts em linguagem natural. Este agente corre localmente com a biblioteca open-source `scrapegraphai`.

---

## 📁 O Que Está Dentro

**Ficheiros**: `ai_scrapper.py`, `local_ai_scrapper.py`

Utiliza a biblioteca open-source ScrapeGraphAI que corre na tua máquina local.

**✅ Vantagens:**
- Gratuito para usar (sem custos de API)
- Controlo total sobre a execução
- Amigável para a privacidade (todos os dados permanecem locais)

**❌ Desvantagens:**
- Requer instalação local e dependências
- Limitado pelo teu hardware
- Necessidade de gerir atualizações

---

## 🚀 Começar

1. **Clona o repositório**

```bash
git clone https://github.com/Shubhamsaboo/awesome-llm-apps.git
cd awesome-llm-apps/starter_ai_agents/web_scraping_ai_agent
```

```markdown
## 2. **Instalar dependências**

Para instalar as dependências do projeto, executa o seguinte comando:

```bash
npm install
```

Isto irá instalar todas as bibliotecas necessárias definidas no ficheiro `package.json`.
```

```bash
pip install -r requirements.txt
```

3. **Obtém a tua Chave de API da OpenAI**
- Regista-te para uma [conta OpenAI](https://platform.openai.com/)
- Obtém a tua chave de API

4. **Executa a Aplicação Streamlit**

```bash
streamlit run ai_scrapper.py
# Or for local models:
streamlit run local_ai_scrapper.py
```

## 💡 Casos de Uso

### Extração de Dados de E-commerce

```python
# Extract product information
prompt = "Extract product names, prices, and availability"
```

### Agregação de Conteúdo

A agregação de conteúdo é o processo de reunir informações de várias fontes e apresentá-las de forma organizada. Este guia irá mostrar-te como implementar a agregação de conteúdo utilizando diferentes ferramentas e técnicas.

#### Ferramentas Necessárias

- Um servidor web
- Uma base de dados
- Linguagem de programação (ex: Python, JavaScript)

#### Passos para Implementação

1. **Escolher as Fontes de Conteúdo**
   - Identifica as fontes de onde pretendes agregar conteúdo, como blogs, redes sociais ou APIs.

2. **Configurar o Servidor**
   - Instala e configura o servidor web que irá hospedar a aplicação.

3. **Criar a Base de Dados**
   - Define a estrutura da base de dados onde o conteúdo será armazenado.

4. **Desenvolver o Script de Agregação**
   - Escreve um script que irá buscar o conteúdo das fontes selecionadas. Por exemplo, se estiveres a usar Python, podes utilizar bibliotecas como `requests` e `BeautifulSoup`.

   ```python
   import requests
   from bs4 import BeautifulSoup

   url = 'https://exemplo.com'
   response = requests.get(url)
   soup = BeautifulSoup(response.text, 'html.parser')
   ```

5. **Armazenar o Conteúdo**
   - Insere o conteúdo obtido na base de dados.

6. **Criar a Interface de Utilizador**
   - Desenvolve uma interface onde os utilizadores possam visualizar o conteúdo agregado.

#### Exemplos de Código

Aqui está um exemplo simples de como agregar conteúdo de um blog:

```python
def agregar_conteudo(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None
```

#### Conclusão

A agregação de conteúdo pode ser uma ferramenta poderosa para reunir informações relevantes de várias fontes. Seguindo os passos acima, consegues implementar a tua própria solução de agregação de conteúdo.

```python
# Convert articles to structured data
prompt = "Extract article title, author, date, and main content"
```

### Inteligência Competitiva

```python
# Monitor competitor websites
prompt = "Extract pricing, features, and updates"
```

### Geração de Leads

```python
# Extract contact information
prompt = "Find company names, emails, and phone numbers"
```

## 🔧 Como Funciona

1. Forneces a tua chave da API OpenAI
2. Selecionas o modelo (GPT-4o, GPT-5, ou modelos locais)
3. Introduzes a URL e o prompt de extração
4. A aplicação utiliza o ScrapeGraphAI para raspar e extrair dados localmente
5. Os resultados são apresentados na aplicação

---

## 📖 Documentação

- **Biblioteca ScrapeGraphAI**: [ScrapeGraphAI GitHub](https://github.com/VinciGit00/Scrapegraph-ai)

---

## Poupe horas todas as semanas com IA, sem complicações

O **Doutor AI** dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe. [Ver planos →](https://doutorai.pt/precos)

---
Conteúdo de Doutor AI (https://doutorai.pt). Ao citar, indique a fonte: https://doutorai.pt/apps/web-scraping-ai-agent