#Inteligencia-artificial #Ferramentas #Ollama #Modelos

Executando Inteligências Artificais localmente

O que é Ollama?

Ollama é uma ferramenta e plataforma que simplifica o uso de modelos de linguagem natural (LLMs) localmente, eliminando a necessidade de configurações complexas ou dependência de servidores externos. Ela permite que desenvolvedores e entusiastas de IA utilizem modelos avançados de linguagem de maneira mais acessível e eficiente, facilitando a integração e experimentação com LLMs em diversos projetos.

Esses são os comandos básicos para instalar, listar, e executar modelos de inteligência artificial com o Ollama. Ele permite rodar LLMs poderosos localmente em seu computador pelo terminal ou pelo navegador, sem depender de serviços na nuvem [1].

Aqui estão os principais comandos do Ollama para executar modelos de linguagem:

Instalação

Para instalar o Ollama, você pode usar o seguinte comando no Linux:

curl -fsSL https://ollama.com/install.sh | sh

Para o Windows use o instalador: OllamaSetup.exe

Verificar versão

Após a instalação, verifique a versão do Ollama com:

ollama --version

Listar modelos disponíveis

Para ver quais modelos estão disponíveis para uso:

ollama list

Para conhecer os modelos disponíveis acesse : Model library

Principais Comandos do Ollama

Execute ollama no terminal para exibir os comandos disponíveis:

Comando descrição
ollama help comando exibe informações sobre o comando
ollama run llama3 executa um modelo, baixa caso não esteja instalado
ollama pull llama3 atualiza o modelo, nesse caso o llama3
ollama rm llama2 remove o modelo, nesse caso o lamma2
ollama --version mostra a versão atual instalada do ollama
ollama list lista os modelos instalados
ollama serve inicia o servidor ollama
ollama show exibe informações de um modelo
ollama create Cria um modelo a partir de um Modelfile
ollama push envia um modelo para o registry
ollama ps lista os modelos executando
ollama cp copia um modelo

Executar modelos

Para executar um modelo específico, use o comando run seguido pelo nome do modelo:

ollama run llama3

Este comando inicia o modelo Llama3 de 8B parâmetros. Você pode então interagir com o modelo usando comandos como /show, /show info, etc. [2] [3] [4]

Para modelos como Mistral, primeiro baixe o modelo em formato GGUF, crie um arquivo Modelfile com a linha:

FROM ./nome_do_arquivo_GGUF.gguf

E então execute:

ollama create Mistral -f ./Modelfile

Para iniciar o modelo Mistral, use [5]:

ollama run Mistral

Finalizar o chat com o modelo

Após iniciar um modelo, você pode interagir com ele diretamente no prompt do Ollama. Para sair, digite /bye.

Usar interface gráfica

Para interagir com o Ollama além do terminal, existem várias interfaces gráficas similares ao ChatGPT usando o navegador, por exemplo a OpenWebUI, que cria uma página local em: http://localhost:8080/ , este se comunica com o servidor local do Ollama, através de sua API disponibilizada por sua comunicação no seu endereço de rede local: http://localhost:11434/.

Referências

  1. Site de segurança da informação - 100SECURITY ↩︎

  2. Descomplicando Ollama Parte-1 ↩︎

  3. Ollama - Guia Rápido de Instalação e Utilização com o Llama3 e Mistral ↩︎

  4. 100SECURITY ↩︎

  5. Como usar LLMs localmente com ollama e Python - All Things IT @AI ↩︎