AI - Configurando Firecrawl no Dify para criar uma Fonte de Dados

Olá meus Unicórnios! 🦄✨

Você se lembra que aprendemos a instalar o Firecrawl para transformar sites em um fomato que possa ser lido por modelos de AI?

Agora iremos utilizar o Firecrawl para criar uma fonte de dados, que iremos utilizar em um Robô que ira responder perguntas sobre o conteúdo de um site determinado.

Se você não esta acompanhando esta saga, leia os artigos abaixo antes de continuar este artigo:

AI - Instalando KIT de Modelos para diferentes funções

Descubra como instalar e utilizar o LocalAI, uma poderosa ferramenta com modelos variados para conversação, texto para áudio, áudio para texto e geração de imagens. Aprenda a configurar via Docker e a gerenciar modelos através da API de maneira fácil e eficiente.

Paloma MacetkoPaloma Macetko

AI - Configurando LocalAI no Dify

Aprenda a integrar o LocalAI ao Dify para criar bots eficientes. Este guia passo a passo inclui configurar modelos de conversação e embeddings no Dify e testar a integração. Facilite a criação de bots com a integração do Dify e LocalAI.

Paloma MacetkoPaloma Macetko

AI - Configurando Crawler Offline para transformar sites em dados prontos para modelos de AI

Transforme o conteúdo do seu site em textos amigáveis para IA usando o Firecrawl. Nosso tutorial ensina a instalar e configurar o Firecrawl em um servidor.

Paloma MacetkoPaloma Macetko

Configurando o Firecrawl no Dify

Dentro do Dify, clique no seu usuário, e depois em "Configurações":

Clique em "Fonte de dados":

Clique em "Configure" na fonte de dados "Website With Firecrawl":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

API Key: XXXXXX
Base URL: http://192.168.20.115:3002

💡

Observe que no "Base URL" precisamos preencher com o IP de nossa Rede.

💡

Atenção para não deixar uma barra no final do "Base URL"

A janela deve ficar semelhante ao Printscreen abaixo:

Após as configurações, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

O Firecrawl será exibido como "Active":

Criando Fonte de Dados

Clique em "Conhecimento":

Clique em "Criar Conhecimento":

Na janela aberto iremos configurar a fonte de dados.

Clique em "Sincronizar de site":

Nos campos do "Firecrawl" iremos configurar como o Crawler deve agir.

Para este teste, iremos fazer um Crawler neste Blog, restringindo a 5 máxima, e profundidade máxima de 1 link (Isto ira fazer extrair apenas os links presentes na página principal):

Depois disto, clique em "Run":

Depois de alguns instantes, será exibido as páginas que foram identificadas:

Desça até o final e clique em "Próximo":

Na janela seguinte, iremos configurar como os dados serão tradados.

Iremos manter tudo com as configurações padrões, e clicar em "Salvar e Processar" no final da janela:

Agora você pode acompanhar o processo da incorporação:

Depois de Concluído, clique em "Ir para documento", e observe que todos os links estão com status "Disponível":

Agora já temos uma Fonte de Dados, com 5 páginas, disponível para ser utilizada em nossos Bots.

Criando Bot para Responder Perguntas sobre a Fonte de Dados

Clique em "Estúdio":

Clique em "Criar do zero":

Preencha um nome para o Bot e clique em "Criar":

Na seção "Contexto" clique em "Adicionar":

Selecione a Fonte de Dados que criamos anteriormente e clique em "Adicionar":

Para testar, faça uma pergunta sobre o conteúdo indexado:

Observe que será gerado uma resposta, com base na fonte de conhecimento, e indicado os textos que foram utilizados como referencia:

Por hoje é só, meus unicórnios! 🦄✨

Que a magia do arco-íris continue brilhando em suas vidas! Até mais! 🌈🌟