Um computador possui partes que funcionam de maneira semelhante às divisões do cérebro humano, com cada área desempenhando uma tarefa específica. As memórias RAM, por exemplo, servem para armazenar as informações mais utilizadas, comparável a ter as ideias na ponta da língua.

A evolução das memórias é sentida duramente na experiência de consumo por meio da tecnologia. Muitos se recordam dos tempos em que baixar um filme demorava horas. Atualmente, chips de última geração são capazes de transferir bibliotecas inteiras de longa metragens em instantes. No centro dessa revolução está a memória de alta bandwidth (HBM), um avanço significativo em relação ao padrão atual GDDR5, que está revolucionando a indústria de chips de inteligência artificial (IA).

Lançada em 2013, a HBM, inicialmente recebida com ceticismo, tornou-se um componente essencial no universo dos chips de IA. Gigantes dos chips, como Nvidia e AMD, estão apostando alto nessa tecnologia avançada, agora um elemento crítico em todos os chips de IA.

O grande desafio para os fabricantes de chips de IA é a demanda crescente por mais poder de processamento e largura de banda. Esta necessidade é impulsionada pela expansão acelerada de centros de dados e pelo desenvolvimento de sistemas de IA complexos, como os modelos de linguagem de grande escala.

As aplicações de IA que lidam com grande volume de dados, como as gerativas, estão esticando os limites dos chips de memória convencionais. Para atender a essas demandas, são necessários chips que processem e transfiram dados mais rapidamente, o que implica em um maior número de chips, ocupando mais espaço e consumindo mais energia.

Tradicionalmente, os chips são alinhados lado a lado em superfícies planas e conectados por fios e transistores. Com o HBM, essa abordagem é esquecida. A tecnologia consiste em empilhar várias camadas de chips, utilizando componentes de última geração, incluindo placas de circuito incrivelmente finas, para acomodar os chips de forma mais compacta em uma configuração tridimensional.

Essa inovação é crucial para os fabricantes de chips de IA, já que chips mais próximos consomem menos energia — cerca de 75% a menos que as estruturas tradicionais. Além disso, o HBM oferece até cinco vezes mais largura de banda e ocupa menos espaço — menos da metade do tamanho das opções atuais.

Embora a tecnologia seja avançada, ela não é exatamente nova. AMD e SK Hynix, da Coreia do Sul, começaram a trabalhar no HBM há 15 anos, quando os chips de alto desempenho eram predominantemente usados no setor de games. Muitos criticaram a viabilidade dessa tecnologia devido ao alto custo de produção e complexidade dos componentes. Porém, em 2015, dois anos após o lançamento, a expectativa era de que o HBM se restringisse a um nicho de mercado.

Hoje, os chips HBM continuam sendo caros, custando pelo menos cinco vezes mais que os chips de memória padrão. A diferença é que o mercado agora valoriza os chips de IA, nos quais o HBM é integrado, muito mais do que os produtos voltados para games de uma década atrás.

Atualmente, a SK Hynix é a única empresa capaz de produzir em massa a última geração de produtos HBM3, usados nos chips de IA de hoje, detendo 50% do mercado global.

Enquanto isso, Samsung e Micron, que produzem gerações anteriores de HBM, estão se preparando para lançar suas versões mais recentes. A demanda crescente por essa tecnologia promete um retorno significativo. A TrendForce prevê um aumento de 60% na demanda global por HBM este ano.

Com a crescente guerra dos chips de IA, deve haver um impulso ainda maior nesse crescimento no próximo ano. A AMD lançou recentemente um novo produto com a esperança de competir com a Nvidia. A combinação de uma escassez global com a forte demanda por alternativas mais acessíveis às ofertas da Nvidia cria uma oportunidade de ouro para concorrentes com especificações comparáveis. Contudo, desafiar a dominância da Nvidia, que vai além do chip físico, envolvendo um ecossistema de software robusto, é um desafio à parte.

Por isso, a inovação no hardware, especialmente o número de HBMs em cada novo chip, será cada vez mais importante para os concorrentes da Nvidia.

Aumentar a capacidade de memória por meio do uso de HBMs atualizados é uma das poucas maneiras de se destacar a curto prazo. Por exemplo, o acelerador MI300 da AMD usa oito HBMs, mais do que os cinco ou seis da Nvidia.