Pular para o conteúdo principal

Inferência Privada de LLM

Modelos Abertos no Seu Próprio Hardware — os Dados Ficam no Seu Perímetro

Fale conosco
Ilustração de Inferência Privada de LLM

Cada prompt enviado a uma API pública de LLM é um dado de cliente saindo da sua infraestrutura, e a conta de tokens cresce a cada caso de uso bem-sucedido. Para equipes brasileiras reguladas, dados que cruzam fronteiras no momento da inferência levantam questões de LGPD que o jurídico precisa responder antes do lançamento.

A Obox Systems LLC é uma empresa americana de engenharia de software especializada em sistemas de alta vazão construídos em Rust. Os projetos são liderados pelo nosso CTO, com o apoio de uma equipe estruturada e revisão por pares obrigatória; NDA disponível mediante solicitação.

A nossa equipe trabalha no horário comercial do Brasil e conversa com a sua em português e, como empresa americana, contratamos de forma internacional, em um modelo B2B direto.

Podemos ajudar com:

  • Serviço privado de modelos — modelos de pesos abertos nos seus próprios servidores ou na sua nuvem privada, expostos por endpoints compatíveis com a API da OpenAI, para que as aplicações existentes mudem com uma alteração de configuração
  • Quantização e ajuste de hardware — quantização AWQ, GPTQ e GGUF, profiling de largura de banda de memória e reuso de KV-cache em hardware NVIDIA, AMD EPYC e ARM
  • Modelagem de capacidade e custo — vazão em tokens por segundo por unidade de custo de hardware, para dimensionar o cluster antes de comprá-lo
  • Clusters multi-GPU — batching, escalonamento e balanceamento de carga que mantêm a latência no pico de concorrência
  • Gateway de inferência seguro — autenticação, limitação de taxa, logs de auditoria e roteamento de requisições, construídos em Rust na frente dos seus modelos
  • Recuperação privada — banco de dados vetorial e pipelines de documentos que mantêm as bases de conhecimento dentro do seu perímetro
  • Propriedade total — scripts de implantação, configurações e benchmarks continuam seus

A Auditoria Diagnóstica de Arquitetura modela a sua carga de trabalho em hardware real em cinco dias — um plano de dimensionamento e custo que é seu.

Tecnologias que usamos

  • Rust
  • NVIDIA CUDA
  • Docker
  • Linux
  • AMD
  • PyTorch
  • Kubernetes
  • Prometheus

Pacotes

Auditoria Diagnóstica de Arquitetura

Revisão da topologia de inferência — perfil da carga de trabalho, modelagem da vazão do hardware em tokens por segundo por unidade de custo, análise de largura de banda de memória, plano de capacidade e um mapa de por onde os prompts e documentos trafegam hoje

5 dias

Spike Técnico Rápido / PoC

Um modelo de pesos abertos quantizado rodando no seu hardware por trás de um endpoint seguro compatível com a API da OpenAI, com benchmarks sobre os seus prompts reais

10–15 dias

Squad de Engenharia Dedicado

Um time dedicado da Obox que ajusta o cache de contexto, o escalonamento de lotes e a alocação multi-GPU e escala o cluster conforme o seu uso cresce

Retainer mensal

Sprint de Modernização do Núcleo

Migração em fases das cargas de produção de APIs públicas para o seu cluster privado — gateway, camada de recuperação, benchmarks e rollback em cada marco

Baseado em marcos

Perguntas frequentes

  • Prompts, documentos e registros de clientes ficam dentro da sua infraestrutura, e o custo acompanha o seu hardware em vez do preço por token. Equipes reguladas também evitam enviar dados pessoais a um serviço de terceiros no momento da inferência.

  • Não. Manter a inferência dentro da sua infraestrutura ajuda na residência dos dados, mas a conformidade depende de todo o seu programa, incluindo a revisão do seu encarregado (DPO). Nós construímos os controles técnicos: isolamento, controle de acesso e logs de auditoria.

  • Famílias de pesos abertos como Llama, Qwen e Mistral, além de modelos focados em português quando fizerem sentido, em servidores NVIDIA, AMD EPYC e ARM, em bare metal ou nuvem privada. Escolhemos por benchmark sobre os seus prompts, não pela marca.

  • Para um único nó e um piloto, vocês podem. A produção exige dimensionamento, escolhas de quantização, escalonamento multi-GPU, autenticação, limites de taxa e logs de auditoria. Entregamos essa camada e benchmarks que comprovam a latência p95 no seu pico de concorrência.

  • Fazemos o profiling da largura de banda de memória e do comportamento do KV-cache, ajustamos o batching ao formato do seu tráfego e colocamos um gateway em Rust na frente dos modelos, para que filas e roteamento não acrescentem pausas imprevisíveis.

  • Sim. Os endpoints seguem a API compatível com a OpenAI, então a maioria das aplicações muda com uma alteração de configuração. Migramos em fases, com um caminho de rollback em cada etapa.

  • Nem sempre. Os modelos fechados de fronteira ainda podem liderar nas tarefas mais difíceis. Primeiro fazemos benchmarks dos seus prompts reais e recomendamos o serviço privado apenas onde a qualidade atinge o seu padrão, e roteamento híbrido onde não atinge.

  • A nossa equipe trabalha no horário comercial do Brasil (BRT), então dailies, revisões e chamadas de incidentes acontecem dentro do seu dia. A comunicação do dia a dia e os relatórios de status estão disponíveis em português.

  • O código é seu: configurações, scripts e runbooks são cedidos ao final. Os contratos têm escopo fixo por fase com a Obox Systems LLC, empresa registrada em Wyoming, começando com uma auditoria de 5 dias.

Briefing Executivo de Arquitetura

Discuta os gargalos da sua infraestrutura com os nossos principais arquitetos de sistemas.

Agendar briefing
30 minutos