PrismML lança Bonsai 27B 1-bit, 1º 27B multimodal no celular

Introdução

Bonsai 27B é o primeiro modelo multimodal de 27B a rodar em um celular, e a palavra-chave aqui é Bonsai 27B. No dia 14 de julho de 2026, a PrismML anunciou o lançamento em variantes 1-bit e ternária de 1,58 bit, ambas baseadas no Qwen3.6 27B, com o objetivo claro de levar raciocínio avançado, visão e fluxos agentic para dispositivos de consumo. A edição 1-bit tem footprint de cerca de 3,9 GB e já foi demonstrada operando em um iPhone 17 Pro Max.

O timing e os números importam. A PrismML reporta que a variante 1-bit atinge aproximadamente 11 tokens por segundo no iPhone 17 Pro Max, oferece contexto de 262K tokens e preserva cerca de 90 por cento da performance de precisão total em uma suíte de 15 benchmarks, enquanto a versão ternária preserva cerca de 95 por cento. O licenciamento é Apache 2.0 e os pesos foram disponibilizados no mesmo dia do anúncio.

Por que esse anúncio muda o jogo

Colocar uma rede multimodal de 27,8 bilhões de parâmetros dentro do orçamento de memória de um celular parecia inviável por um motivo simples, em FP16 o modelo ocuparia aproximadamente 54 GB e mesmo construções convencionais de 4 bits ficam na casa de 18 GB, inviáveis para o orçamento de memória exposto por iOS, que tipicamente libera algo em torno de metade da RAM do aparelho para um único app. A PrismML argumenta que, com cerca de 4 GB no 1-bit, o Bonsai 27B cruza esse limite com folga suficiente para cache e ativações.

O resultado prático é a possibilidade de arquiteturas híbridas mais inteligentes. Tarefas que priorizam privacidade e latência podem ser roteadas localmente para o Bonsai 27B, enquanto chamadas realmente de fronteira ficam na nuvem. Esse desenho reduz custo por tarefa e diminui o tráfego de dados sensíveis. Para quem constrói produtos, isso significa que agentes capazes de planejar, chamar ferramentas e operar em múltiplos passos podem viver dentro do aplicativo, sem rodadas de rede a cada iteração.

![iPhone 17 Pro Max em vitrine]

O que há de novo no Bonsai 27B, em termos técnicos

• Base e arquitetura. O Bonsai 27B deriva do Qwen3.6 27B, um modelo causal de atenção híbrida com cerca de 75 por cento de camadas lineares e 25 por cento de atenção completa. Mantém SwiGLU, RoPE e RMSNorm, além de janela de contexto de 262K.
• Representação em baixo bit. Na versão 1-bit, cada peso é binário, valores {−1, +1}, com escala FP16 compartilhada por grupos de 128 pesos, o que gera 1,125 bits efetivos por peso e um pacote de aproximadamente 3,9 GB. Na versão ternária, os pesos são {−1, 0, +1} com a mesma escala por grupo, resultando em cerca de 1,71 bits efetivos e footprint de 5,9 GB.
• Pilha low-bit de ponta a ponta. A compressão abrange embeddings, projeções de atenção, MLPs e a cabeça de LM, sem rotas de precisão escondidas. O componente de visão é entregue em formato compacto HQQ 4-bit, carregado sob demanda para entradas de imagem.
• Contexto e KV cache. A janela de 262K se apoia no backbone majoritariamente linear e em um cache KV de 4 bits quase sem perda. Somente 16 de 64 camadas mantêm cache de atenção completa, o que viabiliza o contexto estendido sem estourar a memória do dispositivo.
• Desempenho reportado. A PrismML cita até 163 tok/s no 1-bit e 134 tok/s no ternário em uma RTX 5090, e até 87 tok/s e 58 tok/s, respectivamente, em um Mac M5 Max. Em iPhone 17 Pro Max, a referência pública é de cerca de 11 tok/s na configuração de demonstração.

Esses números vêm acompanhados de avanços no caminho de inferência. O time relata uso de especulative decoding com um drafter DSpark treinado contra o alvo Bonsai 27B, o que acelera a decodificação sem perda no caminho CUDA, além de kernels customizados para atenção híbrida em MLX e CUDA, que consomem pesos empacotados diretamente, sem expandir de volta para FP16.

Como isso se traduz em valor para produtos

• Privacidade por padrão. Um modelo que lê a tela, entende documentos e processa a câmera localmente reduz drasticamente a superfície de exposição de dados. Para setores como saúde, jurídico e financeiro, isso viabiliza workflows sensíveis sem uploads contínuos.
• Latência e autonomia. Agentes que executam centenas de passos pagam custo de token a cada iteração em nuvem. Colocando o loop no dispositivo, o custo marginal de uma centena de passos tende a zero, e a autonomia do agente cresce, inclusive offline.
• Economia operacional. O deslocamento de tarefas não fronteira para o dispositivo reduz chamadas a APIs caras e abre margem para oferecer planos mais competitivos ou liberar recursos de GPU para casos realmente críticos.

Exemplo prático em mobile: um app de produtividade que captura a tela, resume, planeja ações e automatiza cliques locais pode operar com o Bonsai 27B em modo ternário no laptop do usuário e sincronizar um perfil 1-bit no telefone para tarefas leve a moderadas. O resultado é uma experiência consistente em múltiplas telas, com custo de nuvem reduzido e dados preservados no dispositivo.

![Mão segurando smartphone, close]

O impacto em benchmarks, sem perder a visão crítica

Em uma bateria de 15 benchmarks em modo thinking, a PrismML reporta que o Bonsai 27B ternário mantém 94,6 por cento do baseline de precisão cheia e o 1-bit 89,5 por cento, com categorias como matemática e coding praticamente intactas, e quedas maiores em tarefas de visão e instruções. Esses dados reforçam que a compressão não é sinônimo de degradação uniforme, as perdas são categoriais.

Do ponto de vista de engenharia, o que interessa é a relação capacidade por gigabyte, ou inteligência por GB. A PrismML cunhou esse conceito nos lançamentos anteriores e o estende aqui, indicando que o Bonsai 27B 1-bit entrega cerca de 0,53 por GB, mais de dez vezes o baseline de precisão cheia e aproximadamente 2,7 vezes o melhor low-bit alternativo disponível. Para quem dimensiona produto, isso se traduz em mais trabalho útil por unidade de memória e energia.

Críticas e pontos de atenção também merecem lugar. Nem todo workload agentic é igual, e a própria PrismML sinaliza que variantes voltadas a coding agentic profundo ainda estão no roadmap. Além disso, medições independentes em comunidades de desenvolvedores mostram variação de throughput conforme hardware, configuração de KV e contexto longo, algo esperado quando se empurra o limite do orçamento de memória. Essas leituras comunitárias são úteis para calibrar expectativa de latência em cenários reais.

O que desenvolvedores podem fazer hoje

• Baixar os pesos. As coleções oficiais no Hugging Face incluem builds MLX 1-bit, GGUF para llama.cpp e versões de referência, com instruções para servir via MLX, CUDA e backends populares. É possível iniciar um servidor compatível com a API OpenAI em poucas linhas.
• Testar no ecossistema Apple. O caminho MLX já inclui kernels low-bit para atenção híbrida e exemplos de servidor local. Em Macs com chip M5, os números de referência citam até 87 tok/s no 1-bit.
• Explorar multimodalidade local. O pacote multimodal adiciona o projetor HQQ 4-bit, cerca de 0,63 GB, carregado apenas quando há entrada de imagem. Isso facilita alternar entre texto puro e pipelines que combinam OCR, screenshots ou câmera.
• Provar arquiteturas híbridas. Um arranjo prático é rodar Bonsai 27B localmente para orquestração e usar uma API de fronteira apenas para passos que extrapolem a capacidade, reduzindo custo e mantendo dados sensíveis on-device.

Perguntas frequentes do ponto de vista de produto

• Cabe em todos os telefones topo de linha. A limitação relevante não é só armazenamento, e sim o orçamento de memória exposto por iOS e Android por app, além do custo do KV cache com contexto grande. A PrismML cita explicitamente que um iPhone com 12 GB tende a expor algo próximo a 6 GB por app, razão pela qual um footprint na faixa de 4 GB foi perseguido.
• E a qualidade vs. footprint. O ternário existe para maximizar qualidade mantendo compressão agressiva, enquanto o 1-bit prioriza portabilidade e custo de implantação. Os números em benchmarks refletem exatamente essa troca, com matemática e coding quase estáveis e quedas mais sentidas em visão e instrução.
• Licença e disponibilidade. Os modelos foram liberados sob Apache 2.0 em 14 de julho de 2026, com uma prévia de API para desenvolvedores. Isso reduz fricção para POCs e acelera testes de adoção.

Contexto mais amplo, 1-bit além do marketing

A ideia de empurrar pesos para representações de 1 bit não nasceu com este release. A literatura acadêmica dos últimos anos explorou quantização extrema com técnicas de inicialização, escalonamento de grupos e treino de adaptação para preservar convergência e qualidade, com resultados que, embora distantes de modelos frontier em FP16, provaram viabilidade prática com custos reduzidos de memória e computação. O Bonsai 27B se encaixa nessa linha ao priorizar códigos binários e ternários com escalas por grupo, aplicados de ponta a ponta.

No entanto, o que faz o anúncio da PrismML importante é a execução em multimodalidade com janela de 262K e o empacotamento que permite rodar num telefone comercial, sem rotas secretas de alta precisão. A presença de throughput mensurável no iPhone 17 Pro Max e números sólidos em M5 Max e RTX 5090 dão substância à proposta e elevam o patamar das discussões sobre IA local.

Casos de uso imediatos para explorar

• Agentes pessoais privados. Um assistente que lê o calendário local, anotações e capturas de tela, planeja o dia e dispara ações automatizadas dentro do dispositivo, com tudo processado on-device.
• Suporte técnico com visão. Aplicativos que pedem ao usuário para apontar a câmera para um erro na tela de outro dispositivo e recebem instruções passo a passo sem subir as imagens para a nuvem.
• Pesquisa e síntese offline. Para equipes em campo, como auditorias ou inspeções, a multimodalidade local permite coletar evidências, reconhecer padrões e gerar relatórios sem conectividade plena.

Limitações práticas e como contorná-las

• Contextos extremos e KV. Embora 262K tokens sejam suportados, o custo de cache cresce. Usar janelas deslizantes, sumarização intermediária e recuperação segmentada ajuda a manter a responsividade sem perder histórico útil.
• Programação e “agentic coding”. A própria comunidade indica que fluxos de programação muito longos podem se beneficiar de ajustes no KV e, eventualmente, de variantes futuras dedicadas. Planejar pipelines com validações frequentes e testes curtos reduz riscos.
• Curva de adoção. Otimizações como kernels de atenção híbrida e especulative decoding pedem alinhamento entre backend e pesos. Seguir as receitas dos cards oficiais no Hugging Face agiliza a adoção.

Conclusão

O Bonsai 27B inaugura uma categoria concreta, IA multimodal de 27B que roda no celular, e não apenas como prova de conceito. Com footprint de 3,9 GB no 1-bit, janela de 262K e desempenho competitivo em raciocínio e código, o lançamento amplia o leque de produtos que podem operar com privacidade, baixa latência e custo reduzido, sem depender integralmente da nuvem. Em termos de estratégia, abre caminho para arquiteturas híbridas mais eficientes, em que o local cuida do grosso e a nuvem entra apenas quando necessário.

O recado para times de produto e engenharia é direto. Quem souber explorar bem a troca entre footprint e qualidade, tirar proveito da pilha low-bit ponta a ponta e projetar agentes que vivam no dispositivo, vai capturar benefícios concretos de experiência e margem. O avanço não encerra o debate sobre onde a IA deve rodar, mas desloca o centro de gravidade do que é possível hoje, e esse deslocamento, suportado por dados e demonstrações públicas de 14 de julho de 2026, marca um novo capítulo na IA local.