Dona do TikTok treina modelo de IA três vezes maior que o Kimi K3, da Moonshot

A ByteDance, dona do TikTok, treina um modelo de inteligência artificial (IA) que pode chegar a 10 trilhões de parâmetros, segundo apuração do Financial Times com três pessoas a par do assunto.

Seria o triplo do Kimi K3, da Moonshot, maior modelo chinês já lançado, e aproximaria a companhia do topo da Anthropic — estimativas do setor apontam cerca de 8 trilhões de parâmetros para o Mythos 5 e 5 trilhões para o Fable 5, números que a empresa americana não confirma.

O sistema está em pré-treinamento, etapa que leva de três a seis meses. O tamanho final ainda pode mudar.

Parâmetros definem quanta informação o modelo consegue armazenar, mas não determinam sozinhos o desempenho — qualidade de dados e método de treinamento pesam tanto quanto.

A regra que atrasa a empresa de propósito

Há mais de um ano, a ByteDance proíbe internamente o uso de destilação: técnica que treina um modelo menor para copiar as saídas de outro maior, encurtando o desenvolvimento.

É prática difundida no setor e está no centro da acusação americana contra a Moonshot, que o governo Donald Trump diz ter usado para treinar o Kimi K3 a partir de sistemas dos Estados Unidos.

Há quem atribua a essa restrição o ritmo mais lento da ByteDance. A decisão parte de Zhang Yiming, fundador da companhia, que sustenta ser o desenvolvimento independente o único caminho para superar concorrentes.

Em reunião interna há duas semanas, ele pediu à equipe que mire capacidade de nível mundial no longo prazo, sem se preocupar em ficar para trás agora.

A operação por trás

A equipe responsável, chamada Seed, tem cerca de 2.000 pessoas na China e no exterior e é liderada por Wu Yonghui, ex-cientista do Google DeepMind.

Nos últimos três anos, a ByteDance investiu em IA mais agressivamente que qualquer outra grande empresa de tecnologia chinesa. Construiu data centers, reforçou a unidade de nuvem Volcano Engine e planeja desenvolver chips próprios.

Diferentemente da maioria das concorrentes chinesas, mantém os modelos fechados. O Doubao, voltado ao consumidor, é o mais popular do país, com 324 milhões de usuários ativos mensais.