Aplicação RAG com Pesquisa Híbrida

Uma poderosa aplicação de perguntas e respostas sobre documentos que aproveita a Pesquisa Híbrida (RAG) e as avançadas capacidades linguísticas do Claude para fornecer respostas abrangentes. Construída com RAGLite para um processamento e recuperação robustos de documentos, e Streamlit para uma interface de chat intuitiva, este sistema combina de forma fluida o conhecimento específico de documentos com a inteligência geral do Claude para oferecer respostas precisas e contextuais.

Funcionalidades

• Resposta a Perguntas com Pesquisa Híbrida
• Respostas baseadas em RAG para consultas específicas de documentos
• Alternativa ao Claude para perguntas de conhecimento geral

• Processamento de Documentos:
• Upload e processamento de documentos PDF
• Divisão automática de texto em partes e incorporação
• Pesquisa híbrida combinando correspondência semântica e por palavras-chave
• Reclassificação para melhor seleção de contexto

• Integração Multi-Modelo:
• Claude para geração de texto - testado com Claude 3 Opus
• OpenAI para incorporações - testado com text-embedding-3-large
• Cohere para reclassificação - testado com Cohere 3.5 reranker

Pré-requisitos

Vais precisar das seguintes chaves de API e configuração de base de dados:

1. Base de Dados: Cria uma base de dados PostgreSQL gratuita em Neon:

• Regista-te/Inicia sessão em Neon
• Cria um novo projeto
• Copia a string de conexão (parece: postgresql://user:pass@ep-xyz.region.aws.neon.tech/dbname)

2. Chaves de API:

• Chave de API OpenAI para incorporações
• Chave de API Anthropic para Claude
• Chave de API Cohere para reclassificação

Como Começar?

1. Clona o Repositório:

   git clone https://github.com/Shubhamsaboo/awesome-llm-apps.git
   cd awesome-llm-apps/rag_tutorials/hybrid_search_rag

2. Instalar Dependências:

   pip install -r requirements.txt

3. Instalar o Modelo spaCy:

   pip install https://github.com/explosion/spacy-models/releases/download/xx_sent_ud_sm-3.7.0/xx_sent_ud_sm-3.7.0-py3-none-any.whl

4. Executa a Aplicação:

   streamlit run main.py

Utilização

1. Inicia a aplicação
2. Introduz as tuas chaves de API na barra lateral:

• Chave de API da OpenAI
• Chave de API da Anthropic
• Chave de API da Cohere
• URL da base de dados (opcional, por defeito é SQLite)

3. Clica em "Guardar Configuração"
4. Carrega documentos PDF
5. Começa a fazer perguntas!

• Perguntas específicas sobre documentos utilizarão RAG
• Perguntas gerais utilizarão Claude diretamente

Opções de Base de Dados

A aplicação suporta múltiplos backends de base de dados:

• PostgreSQL (Recomendado):
• Cria uma base de dados PostgreSQL sem servidor gratuita em Neon
• Obtém provisionamento instantâneo e capacidade de escalonamento para zero
• Formato da string de conexão: postgresql://user:pass@ep-xyz.region.aws.neon.tech/dbname

• MySQL:

  mysql://user:pass@host:port/db

SQLite (Desenvolvimento local)

Instalação

Para instalar o SQLite, segue os seguintes passos:

1. Faz o download da versão mais recente do SQLite a partir do site oficial.
2. Extrai o ficheiro para um diretório da tua escolha.
3. Adiciona o caminho do diretório onde extraíste o SQLite à variável de ambiente PATH.

Uso

Para iniciar o SQLite, abre o terminal e executa o seguinte comando:

sqlite3

Isto abrirá o shell do SQLite, onde podes começar a executar comandos SQL.

Criar uma base de dados

Para criar uma nova base de dados, utiliza o seguinte comando:

sqlite3 nome_da_base_de_dados.db

Isto criará um novo ficheiro chamado nome_da_base_de_dados.db.

Comandos básicos

Aqui estão alguns comandos básicos que podes usar no SQLite:

• Criar uma tabela:

CREATE TABLE nome_da_tabela (
    id INTEGER PRIMARY KEY,
    nome TEXT NOT NULL,
    idade INTEGER
);

• Inserir dados:

INSERT INTO nome_da_tabela (nome, idade) VALUES ('João', 30);

• Consultar dados:

SELECT * FROM nome_da_tabela;

• Atualizar dados:

UPDATE nome_da_tabela SET idade = 31 WHERE nome = 'João';

• Eliminar dados:

DELETE FROM nome_da_tabela WHERE nome = 'João';

Exportar e importar dados

Para exportar dados para um ficheiro CSV, utiliza o seguinte comando:

.mode csv
.headers on
.output dados.csv
SELECT * FROM nome_da_tabela;
.output stdout

Para importar dados de um ficheiro CSV, utiliza:

.mode csv
.import dados.csv nome_da_tabela

Conclusão

O SQLite é uma ferramenta poderosa para desenvolvimento local. Com os comandos acima, já deves estar preparado para começar a trabalhar com bases de dados SQLite.

  sqlite:///path/to/db.sqlite

Contribuição

As contribuições são bem-vindas! Sente-te à vontade para submeter um Pull Request.