World Labs lança Marble: ferramenta de IA para criar e editar mundos 3D a partir de instruções de texto, imagem e vídeo.

Empresa de inteligência espacial Laboratórios Mundiais A Microsoft lançou o Marble, um modelo pioneiro de mundo multimodal generativo que permite aos usuários criar ambientes 3D a partir de textos ou imagens. Inicialmente disponibilizado para um grupo seleto de usuários beta, o Marble agora suporta uma ampla gama de tipos de entrada, incluindo texto, imagens, vídeos e esboços 3D, e permite a edição, expansão e combinação interativa de mundos 3D. Uma vez criados, esses mundos podem ser exportados em formatos como Gaussian Splats, meshes ou vídeos, oferecendo aos usuários mais controle e flexibilidade sobre suas criações.

Além da ferramenta Marble, a World Labs lançou o Marble Labs, uma plataforma criativa que incentiva a colaboração e a experimentação em áreas como jogos, efeitos visuais, design e robótica. O Marble Labs apresenta estudos de caso, tutoriais e documentação, fornecendo aos usuários os recursos necessários para aprender e compartilhar seus próprios mundos 3D. Os recursos multimodais da nova ferramenta se baseiam na ideia de que a percepção humana do mundo integra múltiplos sentidos — visão, audição, tato e linguagem — em um modelo mental coeso. Da mesma forma, os modelos de mundo do Marble são projetados para sintetizar vários tipos de entrada e criar mundos 3D abrangentes que evoluem à medida que novas informações são adicionadas.

Marble se apresenta como um modelo de mundo de última geração, oferecendo amplas possibilidades criativas ao permitir que os usuários gerem facilmente mundos 3D detalhados e os refinem iterativamente com precisão, desde instruções simples até edições interativas complexas.

O World Labs permite que os usuários criem, personalizem e expandam mundos 3D a partir de instruções em texto, imagem e vídeo. 

O Marble permite que os usuários gerem mundos 3D completos a partir de uma única imagem ou um breve texto, oferecendo uma maneira intuitiva e simples de criar uma variedade de cenas em diferentes estilos artísticos. Ao utilizar imagens como referência, os usuários podem integrar o Marble com outras ferramentas de IA, criando ambientes 3D a partir de imagens geradas. No entanto, embora as referências de texto e imagem sejam poderosas, elas oferecem controle criativo limitado, exigindo que o Marble gere quaisquer detalhes ausentes da cena, o que às vezes pode resultar em resultados inesperados.

Para usuários que buscam maior controle, o Marble também oferece suporte a prompts com múltiplas imagens, onde diferentes imagens podem ser combinadas para criar um mundo 3D unificado. Essa abordagem permite maior precisão, possibilitando aos usuários... defiA ferramenta permite visualizar o mundo a partir de vários ângulos. Também é possível usar prompts com múltiplas imagens para recriar espaços do mundo real, onde o Marble sintetiza várias fotos ou vídeos de diferentes perspectivas em um modelo 3D do local real.

O processo criativo do Marble foi projetado para ser iterativo, permitindo que os usuários refinem ainda mais seus mundos após a geração. A plataforma inclui ferramentas de edição nativas para fazer ajustes, tanto pequenos quanto grandes, no mundo 3D, desde a remoção ou modificação de objetos até a alteração completa do estilo ou estrutura visual. Para um controle mais detalhado, o Marble apresenta o Chisel, uma ferramenta com inteligência artificial para usuários avançados, que permite a escultura direta de mundos em 3D. Usando formas 3D simples ou recursos importados, os usuários podem estruturar suas cenas e adicionar instruções de texto para ditar o estilo visual, oferecendo um novo nível de flexibilidade na criação de mundos.

Para mundos maiores e mais expansivos, o Marble oferece ferramentas para aumentar o tamanho de um mundo gerado. Os usuários podem expandir regiões específicas, melhorando os detalhes e a clareza em áreas que antes careciam de precisão. Além disso, o Modo Compositor permite que os usuários combinem vários mundos gerados em espaços maiores, oferecendo controle total sobre o layout e a disposição das cenas.

Após a criação de um mundo, o Marble oferece diversas opções de exportação. Os padrões gaussianos proporcionam a representação de cenas 3D com a mais alta fidelidade, enquanto as malhas triangulares podem ser exportadas para uso em várias ferramentas padrão do setor. O Marble também suporta renderização de vídeo com controle de câmera preciso em cada pixel, permitindo que os usuários capturem e compartilhem seus mundos em formato de vídeo, com a opção de aprimorar esses vídeos com detalhes adicionais ou elementos dinâmicos.

A Marble Labs oferece uma plataforma para explorar e experimentar a construção de mundos virtuais, apresentando projetos criativos e técnicos de artistas, engenheiros e designers de diversos setores. À medida que a Marble evolui, seu objetivo é expandir para experiências mais interativas, possibilitando simulações, robótica e outras aplicações avançadas.

Embora os jogos e a realidade virtual sejam frequentemente as primeiras indústrias que vêm à mente, as aplicações potenciais para modelos de mundo são vastas e vão muito além desses setores. Esses modelos têm a capacidade de transformar diversos campos, incluindo simulações de robótica, design arquitetônico e construção de mundos cinematográficos. Assim como os modelos de geração de imagem e vídeo, os modelos de mundo estão se tornando rapidamente ferramentas valiosas que devem se integrar aos fluxos de trabalho em uma ampla gama de indústrias em um futuro próximo.