Em 08 de março de 2023, o Microsoft Edge apresentou um novo recurso chamado super-resolução de vídeo (VSR), que usa algoritmos de aprendizado de máquina para enriquecer a qualidade de vídeos de baixa resolução visualizados no Edge, descartando artefatos de compactação em blocos e aumentando a resolução do vídeo.
No entanto, o recurso de super-resolução de vídeo (VSR) do Microsoft Edge tem alguns requisitos que os usuários precisam atender. Eles precisam de um dispositivo com uma série Nvidia RTX 20/30/40 ou GPU da série AMD RX5700-RX7800. Os vídeos que desejam aprimorar devem ter uma resolução de 720p ou inferior e um tamanho mínimo de 192 pixels em altura e largura. Os vídeos também devem estar livres de tecnologias de gerenciamento de direitos digitais, como PlayReady ou Widevine. Além disso, o dispositivo deve ser conectado a uma fonte de alimentação estável.
Índice
Como funciona esse VSR (super-resolução de vídeo)?
Como a Microsoft deu vida a esse recurso? Vamos nos aprofundar em alguns detalhes.
ONNX Runtime e DirectML para processamento eficiente de GPU
Recurso VSR do Microsoft Edge é possível com as tecnologias ONNX Runtime e DirectML. Pode ser usado por mais pessoas porque é compatível com diferentes marcas de GPU. Mais placas gráficas serão suportadas no futuro se tiverem poder de computação suficiente. A tecnologia empregada no design VSR e refinada ao longo do tempo para aproveitar ao máximo o poder de processamento da placa gráfica do seu computador. O ONNX Runtime carrega modelos de ML de arquivos.onnx, enquanto o DirectML otimiza e avalia a carga de trabalho de ML usando recursos de GPU disponíveis, como processamento de tensor de ML nativo. Isso resulta em VSR alcançando alto rendimento de execução em uma alta taxa de quadros.
Leia também: por que o Microsoft Edge não é a melhor opção para usuários de Mac
Instale apenas os componentes e modelos necessários para economizar espaço
Para economizar espaço em seu dispositivo, a Microsoft só instala os componentes e modelos necessários para VSR se eles detectarem uma GPU compatível. Se você vir “Edge Video Super Resolution” listado em componentes no Edge Canary, isso significa que sua GPU pode suportar o recurso. Essa abordagem permite que a Microsoft forneça modelos diferentes com base nos recursos e no desempenho do seu dispositivo.
Apresentando o pipeline de apresentação DX12: habilitando o VSR no Microsoft Edge
Um novo pipeline de apresentação DX12 se desenvolve para o Microsoft Edge para permitir VSR. Anteriormente, o Chromium (que serve como base para o Microsoft Edge) empregava DX11 para decodificação e rasterização de vídeo, resultando na geração de texturas DX11 após a decodificação de vídeo. No entanto, como o DirectML opera apenas com buffers DX12, um pipeline DX12 flexível precisa se integrar ao mecanismo Chromium do Microsoft Edge para dar suporte ao VSR. Este novo pipeline executa sombreadores para transformar texturas DX11 em buffers/tensores DirectML, que podem ser utilizados com o ONNX Runtime.
Leia também como ativar ou desativar o recurso de tela dividida no Microsoft Edge
Habilitar/Desabilitar VSR sempre que quiser
Você pode desabilitar o VSR a qualquer momento que desejar. Para desativar o recurso de super resolução de vídeo, basta clicar no ícone “HD” localizado na barra de endereços e selecionar a opção “Aprimorar vídeos”. Desativar esse recurso persistirá em todos os sites nas preferências do navegador Edge e restaurará todos os recursos de super-resolução de vídeo que permanecem suportados pelo driver da placa gráfica no sistema do usuário.
Leia também: 8 razões pelas quais o Microsoft Edge é O melhor navegador para Mac
Qualidade de vídeo aprimorada usando modelos de aprendizado de máquina e compactação de modelo
A melhoria da qualidade de vídeo representa o procedimento de enriquecimento da qualidade dos vídeos. Ele consegue isso empregando modelos de aprendizado de máquina para aprimorar sua resolução, contraste e legibilidade. Além disso, a Microsoft formou um modelo de super-resolução de vídeo alimentado por IA. Isso pode aprimorar vídeos de baixa qualidade para vídeos de alta qualidade sem apresentar nenhum artefato. Além disso, o modelo otimiza para vídeos com resolução de 360p ou inferior. Apesar de um modelo mais leve operado para resoluções e taxas de quadros mais altas.
Os modelos de aprimoramento de vídeo são extraídos e compactados de um modelo muito maior pela equipe do Microsoft DeepSpeed. O processo de treinamento envolve a síntese de pares de vídeo de baixa e alta qualidade utilizando codecs de vídeo populares com estratégias de compactação distintas. Os modelos são então treinados para recuperar informações de estrutura e texturas de alta frequência utilizando uma estratégia de treinamento de dois estágios otimizada com objetivos adversários perceptivos e generativos. O desempenho dos modelos é avaliado usando métricas como LPIPS e FVD.
Leia também: 8 razões pelas quais o Microsoft Edge não é a melhor opção para usuários de Mac
Transformando sua experiência de streaming de vídeo…
A inclusão de Video Super Resolution é um recurso digno de nota. Ele pode aprimorar enormemente sua experiência de transmissão de vídeo, tornando-a mais envolvente e prazerosa. Além disso, esse recurso pode potencializar os detalhes e a beleza do seu conteúdo preferido, elevando sua qualidade. Além disso, a equipe da Microsoft está trabalhando diligentemente para refinar os modelos. E cobertura de hardware para garantir que mais usuários possam se beneficiar dessa experiência superior.
Leia também como adicionar ou remover botões na barra de ferramentas do Microsoft Edge
Quando veremos esse recurso no nosso Edge Browser?
De acordo com a Microsft, eles iniciaram o teste desse recurso com um grupo seleto de clientes no canal Canary. Eles planejam estender gradualmente esse recurso para mais clientes nas próximas semanas. Além disso, eles também planejam expandir a lista de placas gráficas suportadas por nosso sistema no futuro.
Leia também: Como ativar ou desativar DNS seguro por HTTPS (DoH) no Microsoft Edge