Oficina · Nota técnica #04 · projeto pessoal

Pesquisa

Um motor acadêmico offline, do arXiv ao livro em LaTeX

Um ambiente de pesquisa local em três camadas: um motor que busca nas bases científicas abertas e guarda um acervo com busca full-text, projetos editoriais que viram PDF em LaTeX e um dashboard com snapshots versionados.

2 min de leitura por Edinaldo Sá

  • Pesquisa acadêmica
  • Python
  • SQLite FTS5
  • LaTeX
  • Ollama
  • Offline
Esquema ilustrativo: caixas arXiv, Crossref, Semantic Scholar e Unpaywall convergem num cilindro “SQLite FTS5, OCR, Qualis”, que segue para “config.yaml build.py”, depois “Tectonic LaTeX” e um documento PDF; caixas de Ollama/CTranslate2 e de versões completam o fluxo.
Esquema ilustrativo feito para este post. Não é uma captura de tela.

A pasta “ler depois”

Seu acervo de artigos é uma pasta chamada “ler depois”. Quem pesquisa acumula PDFs em pastas, perde o rastro do que já leu e depende de conexão e de serviços pagos para traduzir e buscar.

O Pesquisa é o meu ambiente de pesquisa local. Ele monta um acervo indexado, busca nas bases científicas abertas e leva o material até o PDF final em LaTeX, com versionamento de cada build. São três camadas.

Camada 1: o motor de pesquisa

O motor busca em quatro bases abertas, num fluxo só:

  • arXiv
  • Crossref
  • Semantic Scholar
  • Unpaywall
  • Acervo local em SQLite com FTS5: busca full-text no que você já tem.
  • Download e organização dos PDFs.
  • OCR opcional e tradução offline.
  • Q&A extrativo sobre os documentos.
  • Classificação Qualis a partir de um CSV.
  • Export para o Overleaf.
  • IA offline com Ollama e CTranslate2.

Camada 2: projetos editoriais

Cada livro ou guia é um projeto com config.yaml e build.py. O pipeline é sempre o mesmo:

  1. Gráficos gerados pelo projeto.
  2. PDF diagramado em LaTeX, via Tectonic.
  3. Relatório JSON do build.

Hoje são mais de dez projetos editoriais em andamento, sobre temas como álgebra, barreiras quânticas, eletromagnetismo, estado sólido, SQUID, litografia e um guia sobre grafite.

Camada 3: o dashboard

Projetos

Um dashboard local para criar e editar projetos e disparar o build.

Versões

Cada build gera um snapshot versionado e um relatório, e cada pasta de projeto tem o seu próprio git.

O resultado é reprodutível: cada build deixa para trás um snapshot e um relatório.

De onde veio

O Pesquisa começou num lote anterior e experimental, o Criação de Estudos. Não era uma aplicação: era o ambiente de produção de um e-book técnico sobre grafite.

  • Um plano editorial em YAML para um e-book de cerca de 300 páginas, com tarefas de pesquisa, redação por capítulo, gráficos e equações.
  • Versões de cerca de 100 e de 200 páginas, em HTML e LaTeX.
  • Scripts Python que expandiam o conteúdo e geravam o PDF.

Esse trabalho evoluiu para o Pesquisa, com motor de busca, dashboard, versionamento e um pipeline LaTeX consolidado. Os projetos sobre grafite continuam lá dentro.

Ficha técnica

  • Python 3.10+
  • SQLite FTS5
  • LaTeX (Tectonic)
  • Ollama
  • CTranslate2
  • arXiv · Crossref · Semantic Scholar · Unpaywall
Status
Workspace ativo, com motor, dashboard, testes e 10+ projetos editoriais
Rede
Acervo, busca, tradução e IA funcionam offline
Saída
PDF em LaTeX + relatório JSON + snapshot versionado

Pesquisa, escreve livro técnico ou quer um acervo que funcione sem internet? Vamos conversar.

Me escreva