S3D & WibbleWobble

Para o jogador curioso
Uma descrição em nível popular da tecnologia, como é construída e como funciona. Se você não está interessado, não há necessidade de ler - é material seco.

Como um jogo desenha 3D
A maneira usual de produzir uma imagem 3D em um jogo é renderizar a cena duas vezes - separadamente para o olho esquerdo e direito, deslocando virtualmente a câmera em relação ao centro da cena. Isso é caro em recursos e requer suporte embutido do motor do jogo. Longe de todo jogo pode fazer isso. WibbleWobble oferece dois caminhos diferentes, e a diferença entre eles é fundamental - determina tanto a qualidade da imagem quanto o conjunto de artefatos de imagem.

Caminho um: ReShade Client - sintetizando estéreo a partir de um quadro plano
O jogo renderiza uma única visão comum. O efeito SuperDepth3D ReShade pega esse quadro junto com o buffer de profundidade da cena e reconstrói um segundo ponto de vista a partir dele, deslocando pixels de acordo com a profundidade. O motor do jogo não sabe nada sobre estéreo. Isso é barato em termos de desempenho e funciona com quase qualquer jogo DX11/DX12. A compensação são os artefatos inerentes ao próprio método. Eles são descritos abaixo, nas seções "Desvantagens".

Caminho dois: OpenVR Client - renderização 3D verdadeira
WibbleWobble se registra no SteamVR como um headset VR virtual. Um jogo compatível com VR, ou com um mod VR, renderiza a cena duas vezes a partir de duas câmeras separadas pela distância interpupilar, exatamente como um headset real faz. IPD, resolução por olho e distância focal são definidos no VR Config. Aqui WibbleWobble não sintetiza nada: ele pega o par estéreo pronto e o envia para a tela quadro a quadro, sincronizando os óculos obturadores. Isso custa mais em desempenho, mas a geometria 3D é absolutamente correta. Sem buracos ao longo dos contornos, sem efeito "papelão"; cada olho obtém seus próprios reflexos e realces. Em essência, esta é uma maneira de jogar jogos VR em um monitor comum com óculos 3D, mas sem um headset.

Reprojeção - o mecanismo de expansão do campo de visão
A reprojeção funciona em ambos os modos, incluindo monocular. Um shader de alto desempenho pega o quadro do jogo e o mapeia na geometria do seu espaço de trabalho: em um único monitor, ou quatro monitores, ou uma tela curva. Através do rastreamento de cabeça (OpenTrack) a imagem se desloca para seguir sua cabeça, e os monitores começam a atuar como uma janela para um mundo virtual - o efeito "aquário VR". O objetivo da reprojeção é obter a escala de mundo correta e o campo de visão (FOV) correto para uso com vários monitores. A reprojeção pode ser desligada completamente (Client Config -> Reprojection: Disabled) e você pode usar apenas a saída estéreo, BFI e o upscaler - o cenário usual para um único display.
* Deve-se dizer que o autor do projeto foi excessivamente otimista sobre a ideia de "expandir o mundo" através de vários painéis. Mesmo placas gráficas poderosas não têm desempenho suficiente para isso. Você terá sorte se a velocidade for suficiente para um único display 4K. Não funcionará com vários displays...

FOV (Campo de Visão): o ângulo de visão. Ele determina qual setor do mundo a câmera virtual captura no quadro. É medido em graus, separadamente para o vertical e horizontal. Um FOV pequeno (40-50°) parece uma lente telefoto: um setor estreito com objetos grandes. Um FOV grande (100-120°) é grande angular, como uma câmera de ação. Você vê muito para os lados, mas as bordas são esticadas e os objetos parecem mais distantes e menores. Este é um parâmetro chave no WibbleWobble. O programa deve saber o ângulo no qual o jogo desenhou o quadro para projetá-lo corretamente no seu monitor físico. É por isso que o Game Config tem dois campos, FOV Vertical e FOV Horizontal, com um requisito: o valor deve corresponder ao definido no próprio jogo. Altere um valor e o outro é recalculado automaticamente para corresponder à proporção da janela.

Se o FOV for:
muito grande o mundo parece de brinquedo e a escala dos objetos é distorcida
muito baixo o mundo parece gigantesco e tudo se projeta sobre você
em 3D a profundidade quebra junto com a escala, e a fadiga ocular se instala

Rastreamento de cabeça como uma "janela para o mundo"
Usando o método OpenTrack, o manipulador do aplicativo rastreia a posição da cabeça e desloca a projeção para que o monitor renderize uma janela virtual para a cena 3D. Isso cria um efeito de paralaxe. Quando você move a cabeça, a imagem se desloca ligeiramente, como se você estivesse realmente olhando através de uma janela.

Saída estéreo quadro a quadro
O aplicativo recebe quadros do jogo a uma taxa variável à medida que ficam prontos, "como eles vêm". O cliente então ajusta a taxa de quadros para reprodução a 60 Hz. A fonte do par estéreo pode ser SuperDepth3D, um mod VR ou conteúdo 3D pronto. WibbleWobble o aceita no formato lado a lado ou xadrez (Client Config -> Source Format) e o decodifica no FrameBufferDecode. O renderizador então o converte em um fluxo quadro a quadro de 120 Hz enquanto sincroniza os óculos obturadores. Os seguintes emissores são suportados: NVIDIA 3D Vision, Open3DOLED, projetores DLP, 3D Ready e um emissor IR Arduino/VESA caseiro.

Combatendo o desfoque de movimento e o cross-talk
Desfoque de movimento é o borrão produzido pelo display. Painéis LCD e OLED modernos mantêm um pixel aceso durante a duração do quadro - o modo sample-and-hold. Enquanto o pixel permanece aceso e fixo em uma posição, os olhos instintivamente continuam seguindo o objeto em movimento. Como resultado, a imagem "borra" na própria retina, mesmo que cada quadro individual no display seja perfeitamente nítido. Quanto mais tempo um pixel fica aceso, mais forte o borrão. O defeito esconde detalhes finos e adicionalmente degrada a imagem no modo 3D.

Para reduzir o tempo de acendimento do pixel, WibbleWobble fornece duas ferramentas:
Inserção de Quadro Preto - inserir um quadro preto entre os úteis (o parâmetro Black Frame Insertion Interval no Client Config).
Simulador de Feixe CRT por Blur Busters - um shader que imita a varredura do feixe de elétrons de um CRT: ele apaga a imagem linha por linha em vez de como um quadro inteiro. Dá um resultado melhor, mas é exigente com o display: precisa de gama 2.2 ou 2.4, ABL/APL desativado e OLED em modo SDR. Em painéis FALD e MiniLED funciona mal por causa da inércia da retroiluminação.

Esses dois modos não devem ser ativados ao mesmo tempo. Ao usar CRT Sim, o parâmetro Black Frame Insertion Interval no Client Config deve ser zero. Vale a pena enfatizar separadamente que o jogo pode rodar a uma taxa menor do que o display emite quadros, e o programa preenche os quadros faltantes até a taxa do display. Mas isso não é a geração de novas imagens intermediárias - é uma repetição das prontas. Em outras palavras, não há nenhuma da suavidade que um método de reamostragem fornece.

Cross-talk é o efeito no qual a imagem destinada a um olho atinge parcialmente o outro olho. Como resultado, o espectador vê contornos duplos ou "fantasmas" semitransparentes ao lado dos objetos. Isso degrada a qualidade da imagem 3D e reduz a sensação de profundidade. Para combater isso, o suporte para Inserção de Quadro Preto e o simulador de feixe CRT Blur Busters está embutido. Para supressão abrangente de cross-talk, um modo inteligente é usado: a imagem do jogo é desenhada a 60 Hz, os óculos recebem sincronia a 120 Hz, e a saída para a tela roda a 240 Hz com repetição de quadro.

Por todos os seus méritos, este método tem limitações que devem ser declaradas separadamente. Elas não decorrem de qualquer imperfeição no programa, mas do princípio de operação escolhido. O segundo ponto de vista estéreo não é renderizado a partir do modelo da cena, mas reconstruído a partir de um quadro já finalizado e de um mapa de profundidade. Se não houver dados sobre o que está escondido atrás de objetos em primeiro plano no quadro de origem, não há de onde recuperá-los.

Buracos nas bordas dos objetos - desoclusão
Este é o principal defeito do método. Quando o programa desloca o ponto de vista para o segundo olho ou para uma virada de cabeça, parte do fundo que estava escondida pela borda de um objeto em primeiro plano no quadro de origem deve se tornar visível. Mas ninguém renderizou aqueles pixels - eles fisicamente não existem. O programa não tem nada para preencher a lacuna, então ele ou estica os pixels da borda, produzindo um halo "emborrachado" e borrado ao longo dos contornos, ou substitui por um patch "plausível" mas geralmente incorreto. Quanto mais forte o deslocamento do ponto de vista, mais largas as bandas de halo. Isso não é um bug de implementação mas uma limitação do próprio método: você não pode extrair de uma única imagem o que está escondido atrás de objetos e não visível nela.

O movimento da cabeça amplifica as distorções
No estéreo comum, a distância entre os pontos de vista é pequena e constante - igual à distância entre as pupilas. Mas com uma "janela para o mundo", a cabeça percorre dezenas de centímetros em várias direções, então o deslocamento relativo do ponto de vista é muitas vezes maior que o natural, e os buracos e borrões crescem. Funciona assim: sente-se parado e quase não há artefatos, mas o efeito 3D também é fraco; mova-se muito e o efeito está lá, mas tudo ao longo das bordas dos objetos está borrado e flutuando.

Os gráficos dependem do mapa de profundidade
O programa precisa de informações corretas sobre a distância até cada ponto da cena. O jogo nem sempre as fornece, ou todas elas. Superfícies transparentes - água, vidro, fumaça, fogo, folhagem - geralmente não têm profundidade detalhada, ou o motor não a cria. Como resultado, os objetos acabam na distância errada: a água gruda no lugar errado, a fumaça duplica, as partículas pairam no ar em pontos diferentes. Além disso, nem todo jogo produz um buffer de profundidade compatível - em alguns ele é invertido, em outros é protegido e não pode ser lido.

Reflexos e realces quebram mais
Espelhos, água, asfalto molhado e metal são definidos pela profundidade de sua própria superfície, não pela imagem refletida neles. Quando o ponto de vista se desloca, o reflexo deriva para não se sabe onde. Se um realce é "pintado" na superfície, ele não se comporta como deveria no mundo real. É precisamente o conteúdo brilhante mais marcante que parece plano e errado em estéreo.

Interface, mira e HUD
Elementos bidimensionais sobre o quadro - barras de vida, menus, a mira - são desenhados a profundidade zero, então após o processamento eles acabam na distância estéreo errada. A interface ou se projeta para dentro da tela ou paira na frente da cena. A mira é uma dor de cabeça por si só; sua posição de profundidade quase sempre tem que ser ajustada manualmente.

Um quadro para ambos os olhos
Ambos os olhos veem a mesma imagem, apenas deslocada. Com renderização estéreo honesta, cada olho obtém seus próprios realces, sombras e refrações corretos; aqui isso não acontecerá. Por causa disso, os objetos aparecem como camadas planas cortadas de compensado e organizadas por profundidade, em vez de corpos volumétricos. Em material em inglês, esse efeito é chamado de efeito "cardboard cutout".

Ajuste por jogo
O campo de visão, a faixa de profundidade e a convergência são definidos manualmente para cada jogo separadamente. Um erro resulta em fadiga ocular por convergência excessiva, ou na escala errada, onde o mundo parece de brinquedo ou gigantesco, ou até mesmo profundidade invertida. Esta é uma solução de "ajuste e descubra", não de "instale e jogue".

Latência e quadros irregulares
O jogo renderiza quadros de forma irregular, e o cliente os adapta ao fps estável do display repetindo quadros prontos. A repetição em si não introduz distorção, mas a latência entre ação e imagem se acumula: captura de quadro, processamento, saída. Para rastreamento de cabeça, qualquer latência é sentida como uma "flutuação" da cena. O Game Config tem um parâmetro Frame Capture Delay para isso, para ajustar o momento da captura.

Cross-talk residual e altos requisitos de monitor
Técnicas de software - inserção de quadro preto e o modo 60/120/240 - suprimem o fantasma, mas não o removem completamente, porque o cross-talk é determinado por muitos fatores: a física do painel do display e dos próprios óculos. Depende do tempo de resposta do pixel, velocidade de comutação, contraste das lentes dos óculos e taxa de varredura vertical da tela. Além disso, o modo mais agressivo requer um painel rápido de 240 Hz com persistência de pixel curta, que nem todo usuário tem. Ao contrário do NVIDIA 3D Vision, o ReShade não reproduz um volume pronto, mas o sintetiza a partir de um quadro plano. É por isso que buracos ao longo dos contornos, reflexos incorretos e bordas flutuantes são artefatos estáveis do método, não uma deficiência temporária.

A geometria estéreo aqui é honesta, e nenhum dos artefatos de síntese de imagem - desoclusão, "papelão", reflexos quebrados - está presente aqui. Mas este método tem seu próprio custo também, e é diferente.

O jogo deve suportar VR
Esta é a principal limitação. O método não funciona com um jogo arbitrário: requer suporte VR embutido ou um mod VR. Se nenhum mod pronto existir, o caminho OpenVR não funcionará, e apenas o ReShade com todos os seus artefatos permanece. Em outras palavras, a ampla compatibilidade para a qual o primeiro caminho existe é completamente perdida aqui.

Carga dupla na placa gráfica
A cena é realmente renderizada duas vezes, a partir de duas câmeras. Não há nenhuma economia que a reprojeção de uma única visão fornece: o desempenho cai exatamente como no VR real. Isso é parcialmente compensado pela configuração de Resolução no VR Config - a resolução por olho pode ser reduzida, e o WibbleWobble dimensionará a imagem para a resolução do display.

Instalação complexa
SteamVR deve estar instalado. O driver é registrado via Install.bat com direitos de administrador, após o que duas linhas devem ser adicionadas manualmente ao arquivo config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" e "activateMultipleDrivers": "true". Em seguida, complete a Configuração do Ambiente no modo APENAS EM PÉ. Um erro em qualquer etapa e, em vez de estéreo, você obtém uma tela preta sem uma mensagem clara sobre a causa.

Limitações do próprio OpenVR
Algumas configurações não podem ser alteradas em tempo real. Se você alterar a resolução ou a taxa de saída, uma reinicialização do SteamVR é necessária. Esta é uma limitação da plataforma, não do programa, mas retarda visivelmente o ajuste dos jogos.

A otimização de renderização quebra alguns jogos
O VR Config tem um parâmetro Optimise Single Eye que permite renderizar apenas um olho ou ambos com metade do FOV. O autor do projeto adverte diretamente: o modo "Both" é o mais problemático - vinheta e dessincronização dos olhos são possíveis, e a imagem pode "deslocar". Em alguns jogos, a otimização terá que ser desligada completamente.

Luta pelo foco da janela
Alguns jogos não entregam o foco para a interface do WibbleWobble: a combinação de teclas SHIFT + END não dispara, ou a UI é desenhada mas não pode ser controlada. Você tem que alternar manualmente via ALT + TAB. Um problema separado: a janela do WibbleWobble não deve ser fechada - o programa não se recupera depois, e o jogo terá que ser reiniciado.

Recentralização a cada inicialização
O rastreamento deve ser centralizado manualmente (SHIFT + .) toda vez na inicialização, posicionado exatamente no centro da área de trabalho em frente às telas. Se a cabeça não estava lá durante a centralização, a reprojeção começa a se comportar estranhamente e a escala "deriva". Pela própria admissão do autor, acertar a posição correta requer prática. Isso pode ser corrigido posteriormente usando software de rastreamento mais inteligente.

Peculiaridades de aplicações individuais
Alguns programas funcionam apenas com certas marcas de headset. Para eles, o VR Config tem um parâmetro Headset Identification que faz o WibbleWobble se apresentar como um dispositivo diferente - Vive, por exemplo - sem o qual o rastreamento de cabeça não funciona no DEOVR. Em outras palavras, a compatibilidade em alguns lugares depende de soluções alternativas como estas.

Terreno comum com o primeiro caminho
Tudo relacionado ao hardware vale para ambos os métodos: cross-talk residual, o requisito de um painel rápido, a necessidade de sincronização precisa dos óculos. Saída estéreo, emissores, BFI e CRT Sim funcionam da mesma forma, independentemente de onde o par estéreo veio.