- Um experimento de campo do Harvard Digital Data Design Institute e da BCG avaliou o quanto a IA muda a produtividade e a qualidade de 758 consultores como trabalhadores do conhecimento
- As tarefas foram desenhadas para avaliar aplicabilidade real ao trabalho, indo além de benchmarks simples, incluindo criatividade, pensamento analítico, escrita e persuasão, próximos ao trabalho real dos consultores
- O ChatGPT-4 aumentou em tarefas adequadas à IA a velocidade de trabalho em mais de 25%, o desempenho em avaliação humana em mais de 40% e a taxa de conclusão em mais de 12%
- Nem todo trabalho obtém o mesmo efeito, e a principal limitação revelada foi uma fronteira tecnológica irregular, em que áreas fortes e fracas se separam
- O uso prático se divide entre Centaurs, que repartem o trabalho, e Cyborgs, que integram a IA ao fluxo de trabalho, exigindo avaliar a combinação entre humanos e IA para cada tarefa
Experimento de campo com consultores da BCG
- Karim Lakhani, do Harvard Digital Data Design Institute, entre outros, avaliou junto com o Boston Consulting Group (BCG) o impacto da IA na produtividade e na qualidade de trabalhadores do conhecimento
- O experimento envolveu 758 consultores, o equivalente a 7% da força de trabalho de contribuidores individuais da BCG
- As tarefas refletiam o escopo do trabalho cotidiano dos consultores
-
Criatividade
-
Pensamento analítico
-
Habilidade de escrita
- Persuasão
-
Ganhos de desempenho e limites
- Nas áreas de tarefa em que a IA funciona bem, o ChatGPT-4 elevou bastante os resultados
- A velocidade de trabalho aumentou em mais de 25%
- O desempenho segundo critérios de avaliação humana aumentou em mais de 40%
- A taxa de conclusão das tarefas aumentou em mais de 12%
- Por outro lado, o desempenho da IA não é uniforme em todas as tarefas
- Em alguns trabalhos, produz resultados excelentes, mas em outros fica aquém
- Essa diferença é resumida como jagged technological frontier
Dois modos de uso observados no trabalho do conhecimento
- Os usuários de IA se dividiram principalmente em dois padrões
- Centaurs: dividem e delegam tarefas entre pessoas e IA
- Cyborgs: integram a IA ao próprio fluxo de trabalho
- Mais importante do que a dicotomia entre usar ou não IA é avaliar que valor a combinação entre humanos e IA gera em cada fluxo de trabalho
1 comentários
Comentários do Hacker News
Essas tarefas parecem exatamente o tipo de coisa sob medida para o GPT: áreas como criatividade, pensamento analítico, escrita e persuasão, pedindo algo como 10 ideias de calçados, segmentação de mercado, um comunicado à imprensa e um memorando inspirador para funcionários.
Resposta do GPT à primeira tarefa: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
Alucinações confiantes do GPT são quase indistinguíveis de materiais típicos de consultoria de gestão.
O cliente não quer “10 ideias”, quer “10 ideias valiosas baseadas no entendimento do negócio e do mercado”. Se um consultor de gestão responde a essa pergunta com algo como “boat shoes”, não mantém o cliente por muito tempo.
Da mesma forma, em engenharia de software, se você pede “escreva 10 linhas de código”, dá para dizer que é indistinguível do código que o ChatGPT produz todos os dias.
Meu empregador contratou algumas vezes a McKinsey, conhecida por recrutar gente de HYP, e os resultados foram, para dizer o mínimo, insuficientes. Minha experiência com esse tipo de instituição foi em geral parecida.
Sei que isso é só anedótico, mas sinto que há muito viés de confirmação nesse tipo de estudo.
Este estudo enterrou o ponto principal. LLMs foram melhores em algumas tarefas, mas em outras na verdade pioraram o desempenho.
A primeira tarefa era uma tarefa generalista, que o estudo chama de “dentro da fronteira”, então não surpreende que o desempenho tenha aumentado. Era investigar uma área bem definida sem exigir forte conhecimento de domínio, o que se alinha aos pontos fortes dos LLMs. O trabalho que consultores iniciantes fazem no começo da carreira, em papéis parecidos com analista de negócios, também costuma ser em grande parte esse tipo de atividade generalista.
Como os LLMs generalizaram muita informação, eles são fortes nesse tipo de pesquisa geral, mas essa mesma generalização também é uma fraqueza. Pense neles como jornalistas de uma área de pesquisa. Ao ler um jornal, você sente que está obtendo insights, mas, assim que lê uma matéria sobre uma área que conhece bem, percebe que a análise tem muitos defeitos e que o autor não entende o assunto no mesmo nível que você.
A segunda tarefa, “fora da fronteira”, exigia análise de planilhas, entrevistas e uma análise mais profunda apoiada por evidências, que são tarefas em que os LLMs atuais são fracos. Por isso, o grupo sem LLM obteve 84,5%, enquanto os usuários de LLM ficaram em apenas 60% a 70,6%.
A conclusão é que LLMs são excelentes para pesquisa generalizada, mas menos adequados para trabalho analítico especializado.
Quando faço perguntas de programação, o ChatGPT alucina cerca de 20%, e sou experiente o suficiente para perceber. Ao perguntar sobre outras áreas, acho que devo presumir que há pelo menos esse tanto de alucinação e informação errada.
Isso é engraçado. A capacidade de escrita do GPT-3/4 também é impressionante, mas o mais chocante é o quanto a escrita humana é cheia de fanfarronice.
“Consultor de negócios” é o ápice dos papéis que exigem esse tipo de escrita inflada, e o ChatGPT consegue agir mais como consultor de negócios do que os melhores consultores de negócios.
No trabalho, às vezes é preciso inflar uma ideia ou alguns dados concisos em documentos de várias páginas ou decks de slides para ser levado a sério. Assim, as outras pessoas reconhecem imediatamente que “houve esforço”.
Talvez a função mais adequada para o ChatGPT agora seja pegar um texto conciso e expandi-lo para um documento muito mais longo e cheio de gordura. Quem recebe vai suportar o documento ou os slides prolixos, reconhecer que “o trabalho foi feito” e depois colocá-lo de volta no ChatGPT para resumir só o ponto central original.
Quando dizemos que “LLMs conseguem gerar texto”, estamos usando um pincel tão largo quanto uma rodovia de 10 faixas. Parece que temos um vocabulário bastante limitado para descrever o que a escrita realmente é e quais categorias e níveis ela tem.
Por exemplo, é divertido — e, para mim, totalmente previsível — que o GPT supere humanos já na primeira tentativa em e-mails educados, spam inspiracional estilo LinkedIn e linguagem corporativa. Por outro lado, se você pede o próximo livro de Game of Thrones ou literatura bem escrita, ele desmorona em algo tedioso, genérico e cheio de clichês, enredos vazios e personagens ocos.
Agora precisamos mapear o terreno da escrita em um espaço conceitual melhor. No momento, parece que nem conseguimos distinguir diferenças equivalentes às que existem entre aritmética e álgebra abstrata.
LLMs são surpreendentemente bons em tarefas de linguagem. A maior parte do que antigamente as pessoas chamavam de processamento de linguagem natural agora foi praticamente atropelada. Resumo, perguntas e respostas, análise de sentimento etc. estão em um nível realmente impressionante.
Também são muito fortes em tarefas generativas em que as fronteiras dos “fatos” não são nítidas e não é preciso encaixar tudo de forma densa como num romance de Pynchon. Contos, artigos de opinião e textos de produto viram um amplificador de produtividade, capaz de tirar 20 ideias por minuto como protótipos.
Mas a posição atual é mais ou menos essa. Você eleva a linguagem natural para um espaço latente, cria conceitos separáveis até certo ponto, faz algo parecido com uma transformação afim e depois traz de volta.
Como computador, é tremendamente impressionante; mas, se a pergunta é se isso realmente pode substituir o papel de um caro formado pela Penn, é provável que o que se esteja pagando seja outra coisa, não insights brilhantes de estratégia de produto.
Tipo: mesmo que você mude um pouco uma ilustração de um homem-árvore irritado, ela provavelmente continuará sendo uma boa ilustração de um homem-árvore irritado.
O resultado parece aceitável porque uma pessoa preenche as rachaduras com o cérebro humano. A pessoa reconhece saídas lixo, resolve pequenas ambiguidades e corrige inconscientemente erros triviais de fatos e lógica.
Mas você não colocaria o resultado de um LLM diretamente em outro programa de computador. Isso exclui a maior parte das tarefas tradicionais de processamento de linguagem natural.
Em geral, concordo que eles conseguem fazer esse tipo de tarefa razoavelmente bem, mas o desempenho ainda não é suficiente para rodar em conjuntos de dados grandes.
Mas logo em seguida diz para você não usar aquilo literalmente, porque seria “antiético”.
Isso diz mais sobre o quanto os consultores da BCG são inúteis.
Quem não tem experiência em escrita ou edição acha que LLMs vão revolucionar essa área. Escritores e editores de verdade veem uma saída de LLM uma vez e percebem que o tempo para corrigir é parecido com o tempo para escrever do zero, então praticamente não há valor.
Da mesma forma, pessoas que não sabem programar ou têm compreensão superficial do assunto, especialmente gestores que querem parecer técnicos, veem a saída de LLM e acham que ela está pronta para ser implantada; bons programadores veem que há tantos problemas grandes e pequenos que não vale a pena corrigir em vez de escrever do zero.
Em uma equipe de 20 a 30 engenheiros, normalmente há só um engenheiro do tipo “por que ele está aqui conosco?”, que é excelente tecnicamente e também sabe lidar bem com pessoas. Mas, por melhor que seja sua personalidade, trabalho é trabalho, e ele só dá pistas sobre como a gestão deveria ser. Ele também joga videogame, tem família e tem uma vida, então não se interessa por para onde a empresa está indo, pela gestão nem por responsabilidades desnecessárias. Além disso, o pessoal de cima o vê apenas como “engenheiro”, não como “gestor”.
Quando o restante dos engenheiros e gestores também adota a postura de “não é problema meu”, surge um vácuo estranho de comunicação. Engenheiros que trabalham perto do produto não querem falar com gestores por medo de virar “se você sabe tanto, então faça você”; gestores não querem falar com engenheiros por medo de virar “se você está tão interessado, então faça você”.
É nessa distância crescente entre gestores e engenheiros que entram os consultores de gestão. Graças à flexibilidade concedida pela alta liderança, consultores de gestão podem ir e voltar entre engenheiros e gestores, falar com qualquer pessoa e não ficam presos ao “então faça você”. Entregam um relatório e, em um mês, levam embora o equivalente a um ano de salário de um gestor ou engenheiro.
Pensando seriamente, há muitas coisas que uma empresa sabe que deveria fazer, mas ninguém diz, porque dizer aumenta o trabalho e o risco. Um “bom” consultor de gestão encontra essas coisas “que ninguém quer fazer, mas precisam ser feitas” e as reporta à alta liderança, e a liderança cria um sistema para mandá-las fazer. Se alguém precisar de um consultor de gestão, pode me contratar. Vou dizer de 20 maneiras por que a empresa de vocês não é lá essas coisas, e 18 delas serão geradas pelo ChatGPT.
É engraçado que, em qualquer thread, dá para prever esse tipo de comentário. Se continuarem usando “isso diz mais sobre [inserir]”, a própria expressão perde o sentido. Não daria para dizer algo mais significativo?
Não é surpreendente. O GPT é assustadoramente bom e combina muito bem com programação
Peço ao GPT-4 para escrever código e tento ver se funciona, mas raramente copio e colo o código do jeito que ele vem. Reescrevo eu mesmo para se encaixar no contexto da base de código. Ainda assim, ele economiza muito tempo quando não tenho certeza do que fazer
Às vezes não gosto da sugestão, mas isso também é útil. Muitas vezes o espaço do problema fica mais claro na minha cabeça
Dei a ele uma tarefa bem complicada, para a qual eu não conseguia encontrar resposta no Google e nem tinha certeza se era possível. O requisito era: “Dado um objeto Python, forneça uma lista das funções que receberam esse objeto como argumento. Não é possível modificar o código existente, apenas a estrutura do objeto”
No início ele deu ideias meio inadequadas, como modificar funções, envolvê-las com decorators ou olhar o rastreamento da pilha atual, mas depois de algumas trocas propôs resolver interceptando o tracer do Python, e de fato funcionou
O surpreendente é que ele combinou as peças mesmo parecendo improvável que tivesse visto algo assim nos dados de treinamento. Foi quase no nível humano. Quando perguntei, ele também explicou facilmente a limitação de que isso poderia interferir com depuradores
Os exemplos da página 10 do original são desse tipo: propor 10 ou mais ideias de novos calçados voltados a mercados ou esportes negligenciados, segmentar o mercado da indústria de calçados com base nos usuários, redigir um comunicado à imprensa para promover um produto, escrever um memorando inspirador para explicar aos funcionários por que ele é melhor que produtos concorrentes
Pessoalmente, isso me parece ter pouquíssimo valor real
Não estou dizendo que você seja esse tipo de programador, mas com certeza torna possível esse tipo de programador
Como ex-consultor, surge a pergunta óbvia: e se eliminássemos completamente os consultores e deixássemos o GPT-4 trabalhar diretamente para os clientes?
Para um cliente contratar um consultor, ele precisa explicar os requisitos, revisar os resultados, dar feedback e participar de algumas reuniões
Mas, se o GPT-4 torna os consultores muito melhores, parece que também poderia fazer o trabalho deles. Somando a isso a redução do custo de comunicação por não trabalhar com um grupo externo, por que o cliente não eliminaria o custo e a carga de gestão dos consultores externos e ficaria diretamente com os ganhos?
Especialmente quando o cliente já é especialista no domínio e só precisa de mão de obra adicional. Por exemplo, um gerente de marca em marketing conhece bem seu produto e seu marketing, mas pode trabalhar com consultores de marketing porque precisa de mais recursos por limitações de equipe interna
Fico me perguntando se a BCG pensou até o fim no significado de participar deste estudo. Parece um caminho muito curto de “faz os consultores ajudarem melhor os clientes” para “ajuda diretamente os clientes e mostra que consultores não são tão necessários”
Especialmente se o cliente contratar um estagiário e colocar o GPT-4 nas mãos dele
Do ponto de vista do CEO, ele pode chamá-las, pagar uma fortuna para criarem um plano e uma estratégia e, se der certo, ficar com o crédito; se der errado, dizer “trabalhei em estreita colaboração com os especialistas da McKinsey. Portanto, a culpa não é minha”
O HN é péssimo em previsões. Poucos meses atrás, havia uma enxurrada de comentários afirmando com confiança que LLMs não passavam de papagaios estocásticos e não conseguiriam realizar nada
“Não consigo me livrar da ideia de que o próximo inverno da IA está logo ali”, claro, sei
[0] https://news.ycombinator.com/item?id=23886325
E, lendo o artigo, o nível de resultado de que estamos falando é quase exatamente esse: 10 ou mais ideias de novos calçados voltados a mercados ou esportes negligenciados, segmentação do mercado da indústria de calçados, comunicado à imprensa de produto, memorando inspirador para funcionários sobre por que ele é melhor que produtos concorrentes
Além disso, na segunda tarefa, o grupo sem LLM foi muito melhor
Se fiz uma previsão absurdamente ruim, isso significa que meu modelo sobre o objeto estava errado e precisa ser corrigido
Mas, se continuo fazendo previsões sem corrigir o modelo de forma alguma, aí há um grande problema
Com o tempo, muito trabalho de escritório será otimizado com serviços como o GPT
Eu tinha sensibilidade técnica suficiente para saber que muitas das tarefas administrativas que faço são repetíveis e poderiam ser tratadas por scripts, mas não o suficiente para escrever os scripts por conta própria. Graças ao ChatGPT, consegui criar esses scripts, e levei umas 15 a 20 horas para fazê-los funcionar perfeitamente
Eu sabia só um pouquinho de scripting em Python e não conhecia nada de pandas ou xlswriter, mas consegui criar algo que me economiza 20 a 25 horas por semana
Há muita gente boa em programação no HN, então acho que subestimam o mundo que serviços como o ChatGPT abrem para não programadores. Por outro lado, isso também pode fazer pessoas sem curiosidade aprenderem menos. Antes, eu teria pesquisado no Google e juntado informações para aprender a parar vários serviços snapd por script; agora pergunto ao ChatGPT e recebo um script funcional em menos de um minuto
Há duas coisas que vale destacar no resumo
Ele fala em “18 tarefas realistas de consultoria que estão dentro da fronteira das capacidades da IA”. Ou seja, escolheram deliberadamente tarefas que o GPT-4 consegue fazer. Como há muitas tarefas que o GPT-4 não consegue fazer, ao dizer que houve um grande aumento de desempenho, é preciso manter o contexto de que isso se limita a tarefas que se encaixam bem no GPT-4
Também diz que “os participantes com desempenho abaixo da média tiveram um aumento de 43% em relação à própria pontuação, e os com desempenho acima da média, de 17%”. Mesmo tendo escolhido apenas tarefas especialmente adequadas ao GPT-4, a melhoria dos participantes acima da média foi de 17%. Se esse tipo de aumento aparecer de forma geral, ainda é impressionante, mas acho que 17% é bem menor do que alguns estão tentando vender
Participantes acima da média tendem a confiar mais na própria capacidade e, por isso, são mais propensos a mexer bastante na saída do GPT. Assim, o grupo abaixo da média pode ter produzido o resultado final mais rapidamente e, como essa prova tinha limite de tempo, a velocidade provavelmente importava
O ChatGPT é muito forte em se alongar, e textos de marketing e mensagens inspiracionais são, por natureza, prolixos. Ou seja, as tarefas foram praticamente feitas sob medida para um ChatGPT sem auxílio, então os de alto desempenho acabaram ficando em desvantagem
Pequenos aumentos de eficiência viram uma grande vantagem no crescimento de longo prazo. 17% também é uma melhoria enorme