Oficina · Nota técnica #02 · projeto pessoal

LLM Advanced

IA local que resolve equações com SymPy, sem internet

Uma plataforma de IA local sobre o Ollama: chat, RAG, geração de código e rotas de matemática e física com SymPy, NumPy e SciPy. Sem nuvem, sem chave de API e com SQLite por padrão.

1 min de leitura por Edinaldo Sá

  • IA local
  • Ollama
  • RAG
  • FastAPI
  • Streamlit
  • SymPy
Esquema ilustrativo: “Streamlit” liga por HTTP a “FastAPI”, que se conecta a “Ollama qwen2.5-coder:7b” e a um cilindro “SQLite, Redis opcional”; abaixo, etiquetas de chat, RAG, SymPy, NumPy, SciPy e código; no canto, uma nuvem riscada com a palavra “offline”.
Esquema ilustrativo feito para este post. Não é uma captura de tela.

IA que não sai da máquina

Muita empresa quer usar LLM, mas não pode mandar dado para fora; ou o custo por token inviabiliza o uso interno em volume. O LLM Advanced sobe uma API e uma interface completas sobre o Ollama local.

  • Sem nuvem e sem chave de API
  • Zero custo por token: o modelo roda na sua máquina
  • Funciona sem internet, com modo offline documentado

As rotas

A API tem mais de dez grupos de rotas. As principais:

Chat

Conversa com modelos locais.

RAG

Perguntas sobre os seus próprios documentos.

Matemática e física

Rotas dedicadas que usam SymPy, NumPy e SciPy de verdade, e não só prompt.

Código

Geração de código.

Busca e escrita

Busca e escrita assistida.

Orquestrador

Integração HTTP com outros sistemas.

Arquitetura

  1. Interface Streamlit, com gráficos em Plotly, Pandas e Matplotlib.
  2. API FastAPI + Uvicorn, com autenticação JWT e monitoramento próprio.
  3. Ollama rodando o modelo localmente.
  4. Dados em SQLAlchemy + Alembic, com SQLite por padrão e Redis opcional.

Rodar em qualquer lugar

Sem Docker

Sobe com SQLite, sem infraestrutura extra.

Com Docker Compose

O Compose usa por padrão o modelo qwen2.5-coder:7b; o llama3.2 também está documentado.

Offline no Windows

Scripts de instalação e execução e guias de uso local e offline.

Ficha técnica

  • Python 3.11+
  • FastAPI + Uvicorn
  • SQLAlchemy + Alembic
  • Streamlit
  • Ollama
  • SymPy · NumPy · SciPy
  • JWT + passlib
  • Docker Compose
  • SQLite / Redis
Status
API com 10+ grupos de rotas, frontend Streamlit, testes e roadmaps
Modelo padrão
qwen2.5-coder:7b (no Compose)
Banco
SQLite por padrão; Redis opcional
Rede
Funciona offline

Precisa de IA que não manda dado para fora? Vamos conversar.

Me escreva