Inteligência artificial (IA) tem sido um tema importante há muito tempo, mas seu impacto em nossa sociedade e nas empresas está apenas começando a ser percebido. A IA e outras formas de aprendizado de máquina e aprendizado profundo revolucionarão os negócios, automatizando tarefas repetitivas e acelerando resultados, tudo com base em grandes conjuntos de dados.
O desenvolvimento de aplicativos de aprendizado profundo geralmente segue um processo de três etapas:
Preparação de dados, onde grandes quantidades de”matérias-primas”são transformadas em dados utilizáveisTreinamento de modelo, onde programas de software são treinados para aprender uma nova capacidade a partir dos dados Inferência, em que (conforme implícito) o programa aplica esse novo aprendizado a novos dados
Tudo isso resulta em um grande crescimento de dados. Analistas do setor projetam que dados não estruturados-arquivos e objetos-dobrarão ou até triplicarão em capacidade nos próximos anos. Um dos grandes impulsionadores desse crescimento são os casos de uso de IA, aprendizado de máquina e aprendizado profundo.
Este”próximo era”de dados cria alguns desafios distintos para os líderes de infraestrutura de TI. Primeiro, os conjuntos de dados estão em uma escala e volume exponencialmente maiores do que qualquer coisa antes. Alguns de nossos clientes que desenvolvem tecnologia de assistência ao motorista-essencialmente uma forma de aprendizado de máquina, especificamente visão de máquina-geraram mais de um exabyte de dados em apenas alguns anos. Portanto, a escala é enorme.
Além disso, os aplicativos de aprendizado profundo colocam grandes demandas no desempenho da infraestrutura de armazenamento. O processamento desses enormes conjuntos de dados não estruturados requer latências extremamente baixas e, de forma crítica, o desempenho deve ser consistente em grande escala. Os sistemas de armazenamento baseados em disco, que são baseados em discos rígidos seriais, simplesmente não podem atender a esses requisitos. Isso levou ao crescimento do armazenamento de arquivos e objetos totalmente em flash, e esse crescimento acelerará nos próximos cinco anos à medida que o preço do flash diminuir e as novas arquiteturas usarem tecnologias de memória como Non-Volatile Memory Express (NVMe) e Remote Direct Memory Access (RDMA) que permite arquiteturas de armazenamento distribuído de latência ultrabaixa. Portanto, o desempenho do sistema de armazenamento precisa melhorar em ordens de magnitude.
Por fim–os dados não ficam em um só lugar. Ele é gerado fora do datacenter, é movido para algum lugar para ser processado. Isso pode estar na nuvem pública, pode estar em um data center ou, mais provavelmente, partes do pipeline de dados acontecem em ambos os locais. Portanto, a movimentação e o gerenciamento desses dados ao longo de seu ciclo de vida são uma consideração importante. E cada vez mais, esses conjuntos de dados serão preservados por décadas – não cinco ou sete anos. Especificamente, os grandes conjuntos de dados usados para preparação de dados, bem como os próprios modelos, podem ser armazenados por décadas ou mais, caso os modelos precisem ser treinados novamente.
Todos esses fatores já pressionaram as arquiteturas de armazenamento legadas. A maioria dos dados não estruturados do mundo é armazenada em sistemas que foram projetados há mais de 20 anos. Esses sistemas foram projetados em uma época em que a maioria dos arquivos criados era criada por pessoas, não por dispositivos, e a noção de trilhões de arquivos e objetos e exabytes de dados a serem armazenados por décadas não estava no horizonte.
Para tomadores de decisão de infraestrutura de TI, se sua empresa tiver iniciativas de transformação digital ou novas iniciativas de negócios baseadas em inteligência artificial, aprendizado de máquina ou aprendizado profundo, sua infraestrutura de armazenamento de dados pode estar atrapalhando seus negócios. Pode estar afetando a produtividade dos cientistas de dados, criadores de conteúdo e analistas que dependem desses dados todos os dias para produzir um resultado. E definitivamente está fazendo com que você faça trocas injustas para tentar fazê-lo funcionar. Dê os próximos passos agora para avaliar como deve ser uma arquitetura de próxima geração, para capacitar a próxima geração de aplicativos de IA e aprendizado profundo.
Crédito da foto: Photon photo/Shutterstock
Eric Bassier é diretor sênior de produtos da Quantum.