AI - Configurando LocalAI no Dify

Olá meus Unicórnios! 🦄✨

Antes de Tudo, você precisa ter o LocalAI e o Dify Instalado!

Se ainda não tiver, consulte os tutoriais abaixo:

AI - Instalando KIT de Modelos para diferentes funções

Descubra como instalar e utilizar o LocalAI, uma poderosa ferramenta com modelos variados para conversação, texto para áudio, áudio para texto e geração de imagens. Aprenda a configurar via Docker e a gerenciar modelos através da API de maneira fácil e eficiente.

Paloma MacetkoPaloma Macetko

Identificando IP do Computador

Precisamos identificar o IP que nosso computador possui na Rede.

Para isto, abra o CMD e digite "ipconfig":

Localizei o "Endereço de IPv4" do seu Adaptador de Rede.

Normalmente temos apenas uma, então não é difícil, mas caso você tenha mais de uma será necessário identificar qual delas é sua rede principal.

No meu caso, meu IP local é:

192.168.20.115

Configurando LocalAI no Dify

Dentro do Dify, clique no seu usuário, e depois em "Configurações":

Clique em "Fornecedor de Modelo":

Passe o mouse em "LocalAI" e clique em "Adicionar Modelo":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

Model Type: LLM
Model Name: meta-llama-3.1-8b-instruct
Completion Type: ChatCompletion
Server Url: http://192.168.20.115:8080

💡

Observe que no "Server Url" precisamos preencher com o IP de nossa Rede.

A janela deve ficar semelhante ao Printscreen abaixo:

Após isto, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

Suba a listagens de fornecedores, lá em cima vai estar o LocalAI ativo:

Clicando em "Modelos" podemos ver que apenas o modelo e Conversação foi configurado:

Configurando Modelo para Embeddings

Clique em "Adicionar Modelo":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

Model Type: Text Embedding
Model Name: all-MiniLM-L6-v2
Server Url: http://192.168.20.115:8080

💡

Observe que no "Server Url" precisamos preencher com o IP de nossa Rede.

A janela deve ficar semelhante ao Printscreen abaixo:

Após isto, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

Configurando Modelo para Ordenação

Clique em "Adicionar Modelo":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

Model Type: Rerank
Model Name: jina-reranker-v1-base-en
Server Url: http://192.168.20.115:8080/v1

💡

Observe que no "Server Url" precisamos preencher com o IP de nossa Rede.

💡

Observe também, que neste modelo em especifico, deve ser inserido "/v1" ao final da "Server Url".

A janela deve ficar semelhante ao Printscreen abaixo:

Após isto, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

Configurando Modelo para Áudio para Texto

Clique em "Adicionar Modelo":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

Model Type: Speech2text
Model Name: whisper-1
Server Url: http://192.168.20.115:8080

💡

Observe que no "Server Url" precisamos preencher com o IP de nossa Rede.

A janela deve ficar semelhante ao Printscreen abaixo:

Após isto, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

Configurando os Modelos que serão utilizados no Dify

Volte a janela de "Configurações" e clique em "Configurações do Modelo do Sistema":

Selecione os modelos conforme o Printscreen abaixo:

Clique em "Salvar":

Testando

Clique em "Estúdio":

Clique em "Criar do Zero":

Preencha um nome para o Bot e clique em "Criar":

Digite alguma coisa no campo de digitação e clique em "Enter":

Se tudo der certo, o Modelo ira responder sua pergunta:

Por hoje é só, meus unicórnios! 🦄✨

Que a magia do arco-íris continue brilhando em suas vidas! Até mais! 🌈🌟