Opera One testa download e uso de LLMs locais no navegador macmagazine.com.br

Opera One ganhando LLMs locais
A versão do Opera One direcionada a desenvolvedores está ganhando a possibilidade (ainda em testes) de baixar e usar grandes modelos de linguagem (LLMs, na sigla em inglês) locais, dispensando o envio dos dados para um servidor, como de costume.

A novidade é parte do programa AI Feature Drops, da Opera, que permite testar recursos de inteligência artificial antecipadamente. A empresa adicionou suporte experimental a 150 variantes de LLMs de cerca de 50 famílias de modelos locais. Segundo a empresa, trata-se da primeira vez que tais ferramentas podem ser acessadas e gerenciadas facilmente de um grande navegador com o recurso incluído no app.

A ideia é que comandos sejam processados pelos LLMs locais diretamente nas máquinas, sem que os dados inseridos saiam do computador. Entre os modelos inicialmente compatíveis, estão o Llama (da Meta), o Vicuna, o Gemma (do Google) e Mixtal (da Mistral AI).

Para usar um LLM local no Opera One, é necessário estar usando a versão do navegador para desenvolvedores. Com ela em mãos, basta ir ao painel lateral da Aria Chat, encontrar um aviso sobre escolher o modo local e selecionar a opção para ir até as configurações. Então, pode-se buscar e baixar modelos; após o download, já é possível iniciar um chat com a IA.

Depois de baixar, também é preciso voltar ao aviso sobre escolher o modo local no chat e selecionar o modelo desejado. Então, ao digitar comandos no chat, eles serão processados usando o modelo em questão. Cada LLM local exige entre 2GB e 10GB do armazenamento do computador, além de poder ser mais lento que os modelos conectados à internet, a depender das capacidades da máquina.

Para rodar os modelos locais, o Opera One está usando o Ollama, de modo que todos os LLMs disponíveis são derivados da biblioteca do sistema. No futuro, a empresa planeja incluir outros de fontes diferentes. Foi dito também ao TechCrunch que os modelos podem reduzir de tamanho com o tempo à medida que vão se especializando em tarefas.

É possível baixar a versão para desenvolvedores do navegador nessa página.