Tokens mais caros que um funcionário? Um cálculo que as empresas ainda não fizeram

O entusiasmo com a inteligência artificial generativa nas empresas tem um lado que pouco aparece nos slides de apresentação das reuniões: a fatura. Empresas mais avançadas na adoção de IA já monitoram quantos tokens seus funcionários consomem ao utilizar as ferramentas, prática que surge em meio ao aumento de produtividade, mas também à necessidade de entender o impacto financeiro real da tecnologia.

O token, essa unidade básica de processamento de texto nos modelos de linguagem, tem um preço que escala rapidamente. Segundo estimativas do Morgan Stanley, fornecer uma resposta via IA generativa custa cerca de sete vezes mais do que uma pesquisa tradicional, devido ao maior poder computacional exigido. E os custos se acumulam: uma implementação de LLM para processar grandes volumes de documentos pode chegar facilmente a US$ 360 mil apenas em tokens de entrada e saída.

O problema se agrava com os chamados agentes de IA, sistemas que executam tarefas de forma autônoma e encadeada. Modelos agênticos exigem de 5 a 30 vezes mais tokens por tarefa do que um chatbot convencional de IA generativa e podem executar muito mais tarefas do que um humano usando IA. Ou seja: mais autonomia, mais consumo, mais custo.

Na prática corporativa, isso já virou pauta de gestão. Na Zapier, o diretor de transformação em IA, Brandon Sammut, afirma que o uso de IA passou a ter um custo direto que precisa ser considerado e que discrepâncias no consumo de tokens entre funcionários já chamam a atenção da liderança. E a promessa de que os preços vão cair nem resolve tudo.

O Gartner alerta que a queda nos custos unitários dos tokens não será totalmente repassada aos clientes corporativos e que as melhorias em IA impulsionarão uma demanda desproporcionalmente maior por tokens.

A questão que fica é: quando a soma dos tokens gastos em uma tarefa supera o custo de simplesmente contratar um profissional para fazê-la, a IA ainda é o negócio que parece?

Agora que ficou até aqui, você ganhou um cupom de 10% no nosso site! Garanta seu desconto:BLOG10

Fontes:
https://www.prnewswire.com/br/comunicados-para-a-imprensa/gartner-preve-que-ate-2030-realizar-inferencias-em-um-llm-com-1-trilhao-de-parametros-tera-reducao-de-custos-de-mais-de-90-em-relacao-a-2025-aos-provedores-de-ia-generativa-302735052.html

Empresas monitoram consumo de tokens para controlar custos com IA • Tecnoblog

IA Generativa - Calculando o Verdadeiro Custo dos LLM