Óculos AR com redes de IA multimodais recebem financiamento do criador do Pokémon GO

Brilliant Labs revela seus novos óculos de realidade aumentada: Frame

Numa semana em que entusiastas de gadgets de todo o mundo ficam encantados com o Vision Pro, uma jovem e corajosa start-up tenta criar um nicho para o seu dispositivo de realidade aumentada, que tem um formato completamente diferente do da Apple. Hoje, a startup de Cingapura Brilliant Labs anunciou seu novo produto, Frame, um par de óculos leves de realidade aumentada alimentados por um assistente de IA multimodal chamado Noa. Os óculos chamaram a atenção e o investimento de John Hanke, CEO da Niantic, plataforma de realidade aumentada por trás de jogos como Pokémon GO. A Brilliant Labs se recusou a divulgar o valor do financiamento recebido de Hanke.

Em um vídeo de demonstração visto pelo TechCrunch, um dos fundadores do Brilliant Labs pediu a Noa que se apresentasse usando voz. Após aproximadamente três segundos, o agente gerou e projetou uma resposta de texto nas lentes. Além de comandos de voz, Noa é capaz de processamento visual, geração e tradução de imagens, graças aos poucos modelos de IA que integrou: o mecanismo de busca conversacional Perplexity AI; o modelo de imagem de texto Stable Diffusion da empresa Stability AI; O mais recente modelo de geração de texto da OpenAI, GPT4; e o sistema de reconhecimento de voz Whisper. As lentes da armação têm resolução de 640 x 400 para exibição de vídeos e fotos.

Com esses recursos, um usuário que faz compras em um shopping pode pedir a Noa que consulte os preços online de um par de sapatos que está procurando por meio do Frame, por exemplo. “O futuro da interação humano/IA ganhará vida em dispositivos vestíveis inovadores, e estou muito entusiasmado por poder trazer o mecanismo de resposta em tempo real da Perplexity para o Brilliant Labs Frames”, disse Aravind Srinivas, CEO e fundador da Perplexity, em um comunicado de imprensa.

Óculos abertos e inovadores

A questão é se o Frame será responsivo o suficiente para que qualquer uma de suas respostas geradas por IA seja útil. Os dispositivos habilitados para Bluetooth da Brilliant Labs hoje dependem de um smartphone para acessar diferentes modelos de IA. No entanto, em última análise, os fundadores querem dispensar o telefone host e integrar modelos leves de aprendizado de máquina diretamente nos óculos.

O Frame foi lançado após o produto inaugural da Brilliant Labs, Monocle, um dispositivo AR de lente única que atraiu seguidores fiéis na comunidade de código aberto devido à sua programabilidade e preço acessível. Um grupo de estudantes de Stanford até transformou o dispositivo em um assistente de namoro que fazia sugestões em tempo real sobre o que dizer ao seu par.

O Frame permanecerá de código aberto como seu antecessor, o que significa que os desenvolvedores terão acesso a recursos, incluindo documentação viva, uma base de código-fonte aberto e esquemas de hardware. Eles também poderão ajustar as configurações dos modelos de IA suportados pelo Noa.

Uma homenagem aos grandes vultos da história

Ao contrário do volumoso Vision Pro, o Frame foi projetado para uso diário e vem com lentes graduadas. Pesando 39 gramas e com armação grossa e redonda de plástico de náilon, os óculos são, segundo a empresa, um “tributo às inovações e ideias revolucionárias introduzidas por figuras históricas como John Lennon, Steve Jobs e Gandhi”. »O Frame estará disponível para pré-encomenda a partir de hoje e será vendido por US$ 349, o mesmo preço do Monocle. Os dispositivos começarão a ser comercializados em abril.

Desde a sua criação em 2019, a Brilliant Labs conseguiu atrair um grupo notável de investidores anjos. Em junho passado, informamos sobre o investimento de US$ 3 milhões de Brendan Iribe, cofundador da Oculus; Adam Cheyer, cofundador da Siri; Eric Migicovsky, fundador da Pebble e ex-sócio da Y Combinator; e outros. A nova infusão de capital de Hanke eleva o financiamento total da empresa para US$ 6 milhões.

Fonte: www.bing.com