Esta inovação surge no momento certo: a IA pode usar muito menos energia.

Os investigadores chineses afirmam ter encontrado uma forma de treinar redes neuronais potentes reduzindo drasticamente o consumo de energia, recorrendo a hardware pouco convencional e a um método de treino contraintuitivo que aceita - em vez de combater - as imperfeições.

Uma dor de cabeça energética crescente para a IA

Por detrás de cada chatbot vistoso ou gerador de imagens existem centros de dados cheios de chips ávidos de energia. Treinar e executar modelos avançados de IA exige milhares de milhões, por vezes biliões, de cálculos. Cada um consome eletricidade. Multiplique-se isso por milhões de utilizadores e a fatura energética cresce rapidamente até à escala de pequenos países.

A maior parte da IA moderna corre em GPUs e aceleradores especializados. São rápidos, mas ineficientes: deslocam constantemente dados entre memória e processadores. Esse movimento custa energia, muitas vezes mais do que os próprios cálculos.

À medida que governos e empresas definem metas climáticas, a perspetiva de as cargas de trabalho de IA crescerem por ordens de grandeza torna-se desconfortável. A indústria precisa de formas de tornar o treino muito menos intensivo em energia sem sacrificar o desempenho.

Memristores: componentes estranhos com memória

Uma via promissora vem de um tipo de chip muito diferente, baseado em memristores. Um memristor comporta-se um pouco como um resistor que “se lembra” da carga que por ele passou. A sua resistência pode ser ajustada e depois mantém-se nesse nível, codificando informação diretamente no dispositivo.

Em vez de transportar dados para trás e para a frente entre memória e processador, uma matriz de memristores pode armazenar os pesos de uma rede neuronal e realizar cálculos no próprio local, usando a física do circuito. Isto é frequentemente chamado de “computação analógica em memória” (in-memory analog computing).

Esta abordagem reduz o movimento de dados com que as GPUs têm dificuldades. Em princípio, pode proporcionar enormes poupanças de energia para redes neuronais. Mas há um senão.

Os memristores reais são ruidosos e imprecisos. Os seus estados derivam. Quando se tenta escrever um novo valor, nem sempre se obtém exatamente o que se pediu. Essa aleatoriedade pode destabilizar o treino e arruinar a precisão se for tratada com algoritmos convencionais concebidos para hardware digital perfeitamente fiável.

Transformar falhas numa vantagem com a EaPU

Investigadores do Zhejiang Lab, na China, escrevendo na Nature Communications, afirmam ter encontrado uma forma de transformar essas imperfeições numa vantagem. O método chama-se “atualização probabilística consciente do erro” (error-aware probabilistic update, EaPU).

Em vez de combater cada pequeno erro de hardware, a EaPU permite que a rede ignore pequenos desvios e foca-se apenas em mudanças com significado.

Eis a ideia-chave. No treino padrão, o modelo atualiza quase todos os parâmetros a cada passo, mesmo para alterações minúsculas no gradiente. Num chip de memristores, isso significaria reescritas constantes dos dispositivos, gastando energia e desgastando-os.

Com a EaPU, o procedimento de treino:

• aceita pequenos erros que ficam dentro da tolerância do hardware de memristores
• salta atualizações de parâmetros cuja mudança é demasiado pequena para ter impacto
• atualiza menos de 0,1% dos pesos em cada passo de aprendizagem

Este comportamento reduz drasticamente o número de operações de escrita nos memristores, que são muito mais dispendiosas em energia do que as leituras.

Ao atualizar apenas uma fração minúscula de pesos por passo, a EaPU reduz a energia de escrita mantendo a aprendizagem no rumo certo.

Enormes poupanças de energia e maior vida útil do hardware

A equipa do Zhejiang relata vários números impressionantes ao comparar treino baseado em EaPU em memristores com outros métodos de treino em memristores e com configurações convencionais em GPU.

Métrica	Treino convencional em memristores	Memristor com EaPU	Sistema baseado em GPU
Energia de treino (relativa)	1	~0,02 (≈50× menos)	~1 000 000× mais do que a EaPU (segundo os investigadores)
Vida útil do dispositivo (escritas)	Referência	~1000× mais longa	Não diretamente comparável
Precisão vs sistema digital ideal	Significativamente inferior	Ao alcance de supercomputadores digitais	Nível de referência

Os investigadores dizem que, comparado com outros métodos baseados em memristores, a energia de treino caiu por um fator de 50. Como os dispositivos são escritos com muito menos frequência, a vida útil projetada aumenta cerca de 1 000 vezes.

De forma crucial, a precisão melhorou aproximadamente 60% face a esquemas anteriores com memristores, aproximando a qualidade do que se obteria num supercomputador digital tradicional.

Vão mais longe. Ao comparar o consumo total de energia com sistemas padrão de treino baseados em GPUs, estimam uma redução de seis ordens de grandeza. Isto significa, grosso modo, um milionésimo da energia para tarefas equivalentes, se a mesma abordagem puder ser escalada para configurações maiores.

Testes reais: remoção de ruído e super-resolução de imagens

Até agora, isto não é apenas teoria. A equipa validou a EaPU numa matriz de memristores de 180 nanómetros, que não é de ponta pelos padrões atuais de semicondutores, mas é adequada para experiências de prova de conceito.

Treinaram redes neuronais em duas tarefas visuais:

• remoção de ruído de imagens - limpar fotografias com ruído
• super-resolução - reconstruir imagens de maior resolução a partir de versões de baixa resolução

São tarefas exigentes mas bem compreendidas, o que as torna um bom benchmark. Segundo os investigadores, o sistema de memristores usando EaPU atingiu níveis de desempenho semelhantes aos métodos digitais convencionais, consumindo muito menos energia durante o treino.

Os testes iniciais mostram que o treino analógico, tolerante a erros, pode rivalizar com abordagens digitais clássicas em tarefas práticas de imagem.

Isto poderia funcionar para modelos de linguagem de grande escala?

A questão óbvia é se a mesma estratégia escala para os gigantes da IA atual: os modelos de linguagem de grande escala (LLMs). Estes sistemas podem ter centenas de milhares de milhões de parâmetros e treiná-los em GPUs consome quantidades enormes de eletricidade.

O grupo do Zhejiang reconhece que as experiências atuais foram limitadas pelo tamanho e maturidade do hardware. Trabalharam com redes relativamente pequenas e um processo de fabrico mais antigo. Ainda assim, argumentam que os princípios por detrás da EaPU deverão estender-se a modelos muito maiores, incluindo LLMs, assim que exista hardware analógico adequado.

Sugerem também que a EaPU não está ligada exclusivamente a memristores. A abordagem poderia potencialmente correr noutras tecnologias emergentes de “computação em memória”, como:

• transístores ferroelétricos
• RAM magnetorresistiva (MRAM)

Se isto se confirmar, os fabricantes de chips teriam várias vias para integrar este estilo de treino em futuros aceleradores de IA.

Porque tolerar erros pode tornar a IA mais “verde”

Por detrás da EaPU está uma ideia mais ampla: o treino de IA não exige aritmética perfeita em cada passo. As redes neuronais são naturalmente tolerantes a um certo nível de ruído e quantização. O que importa é a direção global da aprendizagem, não se cada atualização de peso é representada com precisão ultra-fina.

Ao modelar explicitamente os erros de hardware e incorporá-los no algoritmo de treino, os investigadores aproveitam a “bagunça” dos dispositivos analógicos em vez de a combater. Essa filosofia contrasta com grande parte do design de chips atual, que gasta muita energia e área a fazer com que as operações pareçam perfeitamente digitais.

Se as empresas de IA adotarem abordagens deste tipo, poderão conceber modelos futuros, desde o início, para funcionarem bem em hardware imperfeito e de baixa energia, em vez de treinarem versões digitais “imaculadas” e depois tentarem comprimí-las para implementação.

O que isto poderia mudar para centros de dados e dispositivos

Imagine-se um futuro centro de dados onde racks de matrizes analógicas de memristores fazem treinos a uma fração do custo energético atual. Os operadores poderiam:

• treinar mais modelos dentro do mesmo orçamento energético
• fazer atualizações frequentes e fine-tuning sem faturas enormes
• reduzir as necessidades de arrefecimento graças a menos calor desperdiçado

Do lado do consumidor, se chips compactos de IA analógica se tornarem práticos, smartphones, portáteis e até dispositivos de casa inteligente poderão treinar ou adaptar pequenos modelos localmente, em vez de enviar cada pedido para a cloud. Isso poderia reduzir tanto a latência como a pegada de carbono dos serviços de IA do dia a dia.

Conceitos que vale a pena destrinçar: IA analógica vs digital

A maioria das pessoas interage apenas com eletrónica digital, onde a informação é codificada como 0s e 1s limpos. A computação analógica é diferente. Tensões ou correntes variam de forma contínua e representam números diretamente. Isso torna algumas operações, como multiplicações de matrizes no coração das redes neuronais, incrivelmente eficientes quando realizadas no domínio físico.

O compromisso é a precisão e a previsibilidade. Temperaturas, variações de fabrico e ruído podem desviar ligeiramente os valores. A contribuição central da EaPU é uma estrutura de treino que lida com estas particularidades em vez de tentar eliminá-las através de correção pesada de erros, o que faria o custo energético voltar a subir.

O memristor, por sua vez, continua a ser uma tecnologia experimental. O comportamento dos dispositivos pode variar entre lotes. Persistem desafios de fabrico. Mas se as poupanças de energia vistas nestes estudos iniciais se confirmarem à escala, haverá forte pressão para refinar o processo e transformá-lo numa linha de produtos comerciais.

Riscos, benefícios e expectativas realistas

Há riscos. Alegações demasiado otimistas sobre energia por vezes desmoronam quando se passa de protótipos de laboratório para sistemas em escala total. Integrar aceleradores analógicos de IA na infraestrutura existente de centros de dados levanta desafios de engenharia e software. Normas de segurança e fiabilidade para sistemas críticos também terão de considerar as particularidades do analógico.

Por outro lado, os benefícios potenciais são significativos. As emissões associadas à IA poderiam ser reduzidas mesmo com o aumento do uso. Países com redes elétricas mais frágeis poderiam aceder a IA avançada sem construir novas centrais massivas. Laboratórios mais pequenos e startups poderiam treinar modelos competitivos em hardware mais barato.

Um cenário realista a curto prazo é que o treino analógico consciente do erro, como a EaPU, surja primeiro em aceleradores especializados, direcionados a cargas de trabalho bem definidas: visão, sistemas de recomendação, ou modelos de linguagem compactos. Se essas implementações mostrarem desempenho estável e poupanças reais de energia, crescerá a pressão para adaptar as mesmas ideias aos maiores modelos que hoje dominam a investigação em IA.

Nesse sentido, esta experiência chinesa chega numa altura ideal. A indústria da IA está a esbarrar em limites físicos e ambientais, e a resposta habitual - mais GPUs, mais energia - parece cada vez mais frágil. Uma tecnologia que ensina redes neuronais a viver com hardware ruidoso e frugal pode mudar essa trajetória.