O cofundador do Google, Sergey Brin, afirmou que ameaçar modelos de inteligência artificial generativa pode resultar em respostas mais eficazes. Durante uma entrevista no All-In-Live, em Miami, Brin comentou:
“Não divulgamos muito isso na comunidade de IA, mas não são apenas os nossos modelos – todos tendem a ter um desempenho melhor quando são ameaçados… com violência física”.
Essa afirmação de Brin vai na contramão de uma prática comum entre usuários que optam por interações educadas com modelos de IA, usando expressões como “por favor” e “obrigado” nos prompts.
No mês passado, o CEO da OpenAI, Sam Altman, comentou sobre isso de forma irônica, ao ser questionado sobre o gasto energético associado a esse tipo de linguagem: “Dezenas de milhões de dólares bem gastos – nunca se sabe”. Afinal, cada palavra adicional aumenta a carga computacional, o que faz com que a IA consuma mais energia.
Tudo culpa do prompt?
O conceito de prompt engineering, ou engenharia de prompts, surgiu como uma técnica para refinar comandos dados a modelos de linguagem, com o objetivo de extrair respostas mais precisas e úteis.
Apesar de ter ganhado destaque nos últimos anos, sua relevância vem diminuindo com o avanço de métodos que usam os próprios LLMs para otimizar esses comandos automaticamente.
Em 2023, a IEEE Spectrum chegou a declarar que a engenharia de prompts estava “morta”, enquanto o Wall Street Journal descreveu a função como o “emprego mais quente” do ano, antes de também considerá-la obsoleta.
Apesar disso, a engenharia de prompts segue sendo uma ferramenta fundamental para jailbreaks – técnicas utilizadas para driblar os mecanismos de segurança dos modelos e obter resultados não previstos ou restritos.
Stuart Battersby, diretor de tecnologia da Chatterbox Labs, destacou que o comportamento descrito por Brin pode ser entendido como uma tentativa de jailbreak.
“Ameaçar um modelo com a intenção de obter conteúdo que ele normalmente não deveria gerar é uma forma de subversão das barreiras de segurança”.
Já Daniel Kang, professor da Universidade de Illinois em Urbana-Champaign, afirmou que declarações como a de Brin são recorrentes, mas geralmente anedóticas.
“Estudos sistemáticos mostram resultados mistos”, disse Kang, citando o artigo “Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance”.
Para ele, a prática de ameaçar modelos é algo que exige avaliações mais profundas e rigorosas, não apenas experiências individuais.
O estudo mencionado por Kang foi conduzido por pesquisadores da Waseda University e do RIKEN Center for Advanced Intelligence Project, ambos no Japão.
Ele investiga como o nível de polidez nos prompts afeta o desempenho de LLMs em tarefas de compreensão de linguagem, resumo e detecção de viés, utilizando os idiomas inglês, chinês e japonês.
Os autores observaram que prompts rudes frequentemente resultam em desempenho inferior, enquanto uma linguagem excessivamente polida não garante melhores resultados.
O nível ideal de polidez varia conforme o idioma, pois os LLMs possuem comportamentos humanos e são influenciados por normas culturais específicas.
Leia mais: Google ativa resumos automáticos no Gmail com IA Gemini
