- Experimento que compara LLMs com Junior Lawyers e terceirização de processos jurídicos (LPO) na revisão de contratos, usando o julgamento de Senior Lawyers como padrão de resposta correta e avaliando em conjunto identificação de questões, localização, velocidade e custo
- Na identificação de questões jurídicas, o GPT4-1106 teve F-score de 0,871, quase igual ao LPO (0,874) e acima dos Junior Lawyers (0,860), mas na localização o LPO (0,770) ficou à frente do GPT4-32k (0,740)
- O experimento usou 10 contratos de aquisição anonimizados; NDAs foram excluídos por serem documentos curtos e inadequados para uma avaliação complexa, e contratos sob jurisdição dos EUA e da Nova Zelândia foram incluídos de forma equilibrada
- Em velocidade de revisão, os LLMs ficaram muito à frente: o tempo médio foi de 56,17 min para Junior Lawyers e 201 min para LPO, enquanto GPT4-1106 ficou em 4,70 min, GPT4-32k em 2,11 min e Palm2 text-bison em 0,73 min
- O custo por contrato foi calculado em US$ 0,02 para Claude 2.0 e Claude 2.1 e US$ 0,25 para GPT4-1106, mostrando até 99,97% de redução de custo em relação a Junior Lawyers (US$ 74,26) e LPO (US$ 36,85)
O que foi comparado na revisão de contratos
- O objetivo foi avaliar se LLMs superam ou se igualam a Junior Lawyers e LPO em trabalhos de revisão de contratos em larga escala, nos aspectos de precisão, velocidade e eficiência de custo
- A tarefa comparada consistia em identificar questões jurídicas dentro do contrato e localizar as cláusulas contratuais que influenciaram esse julgamento
- Os resultados dos LLMs, Junior Lawyers e LPO foram comparados usando os julgamentos feitos por Senior Lawyers como padrão de resposta correta
- As perguntas de pesquisa foram organizadas em três pontos
- LLMs são melhores do que Junior Lawyers e LPO na identificação de questões jurídicas e na localização delas dentro de contratos?
- LLMs conseguem revisar contratos mais rapidamente?
- LLMs conseguem revisar contratos a um custo menor?
Dataset e desenho do experimento
- O dataset foi composto por 10 contratos de aquisição extraídos de contratos jurídicos reais e anonimizados para manter a confidencialidade
- Contratos de aquisição foram escolhidos por serem um tipo contratual com alto volume de revisão na prática jurídica; NDAs foram considerados geralmente curtos e insuficientes para avaliar a capacidade de LLMs em julgar questões jurídicas complexas
- As jurisdições incluíram, de forma equilibrada, contratos dos EUA e da Nova Zelândia
- Os EUA foram tratados como um sistema que combina direito codificado e common law
- A Nova Zelândia foi tratada como um sistema baseado em common law
- Cada contrato foi analisado com uma estrutura de 2 elementos: cenário do documento e playbook de revisão contratual
- O cenário do documento fornece jurisdição, histórico, porte da organização e contexto dos produtos e serviços das partes contratantes
- O playbook de revisão fornece itens de verificação padronizados derivados de casos reais
- Senior Lawyers avaliaram se cada contrato atendia a critérios predefinidos e localizaram e registraram as partes específicas do contrato que influenciaram o julgamento
- Também foi registrado explicitamente quando um critério não era atendido porque a informação relevante não constava no contrato
- Os resultados de vários Senior Lawyers foram agregados pelo critério de opinião majoritária
- O estudo foi conduzido de acordo com os padrões éticos da Onit Inc., incluindo aviso aos participantes, direito de retirada, anonimização, desidentificação dos dados contratuais, envolvimento e auditoria de comitê de ética
Seleção de modelos e prompts
- Os modelos foram selecionados considerando os principais fornecedores na área de LLMs, resultados de testes preliminares e o tamanho da janela de contexto
- Modelos que não conseguiam processar 16.000 tokens ou mais foram excluídos por serem considerados incapazes de lidar com o contexto completo do contrato
- LLaMA2 e Amazon Titan exigiam dividir o documento em várias partes, repetindo o cenário, o playbook e as cláusulas de definição em cada parte
- Técnicas como RAG também foram consideradas, mas nas avaliações preliminares criaram descontinuidades na compreensão do contexto contratual, não sendo adequadas para comparação com o nível de entendimento de advogados humanos
- Os modelos e configurações incluídos na avaliação foram os seguintes
- GPT4 32k: temperature 0.2, entrada de 32.768 tokens, dados de treinamento até setembro de 2021
- GPT4-1106: temperature 0.2, entrada de 128.000 tokens, dados de treinamento até abril de 2023
- GPT3.5-turbo-16k: temperature 0.2, entrada de 16.385 tokens, dados de treinamento até setembro de 2021
- Claude 2.1: temperature 0.2, entrada de 200.000 tokens, dados de treinamento até o início de 2023
- Claude 2.0: temperature 0.2, entrada de 100.000 tokens, dados de treinamento até o início de 2023
- Palm2 Text-bison-32k-2: temperature 0.2, entrada de 32.768 tokens, dados de treinamento até meados de 2021
- O prompt foi composto por papel, tarefa e contexto
- O papel fazia o modelo seguir uma persona de advogado
- A tarefa era revisar o contrato de acordo com os critérios fornecidos e determinar a existência de questões e suas localizações
- O contexto foi estruturado de forma semelhante às instruções fornecidas a advogados, LPOs e revisores de contratos, incluindo público-alvo do contrato, histórico das partes e cenário de negociação
Precisão: identificação de questões próxima, localização com diferença
- A concordância entre grupos de profissionais jurídicos foi avaliada com Cronbach’s Alpha
- A concordância geral entre participantes foi alta, em 0,923366
- A concordância entre Senior Lawyers foi a mais baixa, em 0,719308
- Junior Lawyers ficaram em 0,765058
- LPO teve concordância perfeita nas respostas, com 1,0
- Na identificação de questões jurídicas, os melhores resultados por F-score foram LPO e GPT4-1106
- LPO: precision 0,933, recall 0,823, F-score 0,874
- GPT4-1106: precision 0,835, recall 0,910, F-score 0,871
- Junior Lawyers: precision 0,876, recall 0,845, F-score 0,860
- Claude 2.0 e GPT4-32k registraram F-score de 0,817 e 0,820, respectivamente
- GPT3.5 ficou em 0,657 e Palm2 text-bison em 0,708, valores relativamente baixos
- Na localização das questões, o LPO registrou o F-score mais alto
- LPO: precision 0,915, recall 0,666, F-score 0,770
- GPT4-32k: precision 0,847, recall 0,660, F-score 0,740
- Claude 2.1: precision 0,911, recall 0,569, F-score 0,701
- GPT4-1106: precision 0,857, recall 0,575, F-score 0,686
- Junior Lawyers: precision 0,866, recall 0,542, F-score 0,667
- Palm2 text-bison teve o menor F-score, 0,452
- LLMs podem se igualar ou superar Junior Lawyers e LPO na identificação de questões, mas, na tarefa de apontar com precisão a localização de cláusulas, há grandes diferenças entre modelos e eles nem sempre ficam à frente de profissionais humanos
Velocidade, custo e restrições de adoção
- O tempo médio de revisão por contrato foi muito menor para LLMs do que para profissionais humanos
- Senior Lawyers: 43,46 min
- Junior Lawyers: 56,17 min
- LPO: 201,00 min
- GPT4-1106: 4,70 min
- GPT4-32k: 2,11 min
- GPT3.5: 1,44 min
- Claude 2.1: 2,05 min
- Claude 2.0: 1,63 min
- Palm2 text-bison: 0,73 min
- Calculou-se que o Palm2 text-bison, o LLM mais rápido, concluiu a tarefa de revisão contratual 276 vezes mais rápido que LPO e 77 vezes mais rápido que Junior Lawyers
- A configuração, teste, ajuste fino e validação do prompt de sistema dos LLMs levaram em média 16 horas, nível semelhante ao tempo gasto para instruir Junior Lawyers e LPO em tarefas parecidas
- O custo médio por contrato mostrou uma grande diferença entre profissionais humanos e LLMs
- Senior Lawyers: US$ 75,92
- Junior Lawyers: US$ 74,26
- LPO: US$ 36,85
- GPT4-1106: US$ 0,25
- GPT4-32k: US$ 1,24
- GPT3.5: US$ 0,05
- Claude 2.1: US$ 0,02
- Claude 2.0: US$ 0,02
- Palm2 text-bison: US$ 0,03
- O cálculo de custos foi baseado no tempo médio gasto por profissionais humanos e seus valores por hora, e no número médio de tokens de entrada e saída dos LLMs e no preço por token
- Palm2 text-bison foi calculado com base no número de caracteres, não em tokens
- LLMs com baixo desempenho na localização de questões podem ter limitações para marcar contratos de forma autônoma; por isso, em trabalhos jurídicos, a seleção do modelo é tão importante quanto desempenho e custo
1 comentários
Opiniões no Hacker News
Eu administro uma startup de geração de contratos jurídicos que transforma contratos redigidos por advogados em templates, e também cheguei a criar algumas funcionalidades de análise com GPT para que pessoas comuns possam ler contratos e fazer perguntas.
Na revisão de contratos, o GPT se saiu melhor em analisar documentos do que em gerá-los, e este artigo também sustenta esse ponto. Ainda assim, ao testar várias startups de revisão de documentos com IA, a maioria desmoronava no momento em que se insistia em obter respostas específicas. Este artigo parece ter se limitado a encontrar cláusulas relevantes, não a uma conversa do tipo advogado-cliente.
Como o GPT não tem responsabilidade jurídica mesmo quando dá uma resposta errada, ele é útil quando uma pessoa inteligente está pesquisando por conta própria. É parecido com como, antes, uma pessoa inteligente podia pesquisar sozinha no Google.
Sobre geração de contratos, na maioria dos casos acho que um repositório de contratos-padrão bem redigidos e revisados é mais útil do que o GPT criar um contrato único do zero a cada vez. Advogados seguram seus contratos a sete chaves, e também foi muito difícil encontrar advogados que escrevessem contratos para transformarmos em templates. Afinal, isso reduziria uma fonte futura de receita para eles e para sua comunidade profissional. O treinamento do GPT-4 custou centenas de milhões de dólares, mas, se tivessem gasto apenas 10 milhões de dólares criando um repositório de contratos bem revisados, isso teria sido mais útil do que treinar um modelo de geração de contratos com o mesmo dinheiro.
As pessoas fazem uma variedade considerável de perguntas sobre o que querem fazer com documentos, e o GPT ainda não se saiu bem nisso. No futuro próximo, parece que ainda haverá empregos para advogados.
Por exemplo, uns 20 anos atrás, pelo menos onde eu moro, arquitetos também não queriam criar projetos para vender barato a várias pessoas. Eles achavam que esse tipo de projeto reduziria o mercado de produtos arquitetônicos. Mas é fácil ver que a maioria das pessoas não precisa de um projeto realmente único.
No fim, o mercado não se importou muito e, quando alguém conseguiu criar uma biblioteca de projetos e um modelo de negócios utilizáveis, o problema se resolveu sozinho. Para os arquitetos, restou a escolha entre colaborar e salvar pelo menos uma parte, ou perder.
Acho que os advogados seguirão o mesmo caminho. À medida que o trabalho mais fácil e lucrativo for automatizado, eles passarão por um período difícil, o mercado de serviços jurídicos encolherá, e o trabalho restante será o mais complexo, que a automação não consegue resolver.
Tive a impressão de que davam muito peso a questões que não me pareciam tão importantes, como o destino dos animais de estimação. Eu podia editar o resultado para adequá-lo a mim, mas, para um serviço de 150 dólares, esperava mais.
A empresa em que estou pensando dá a entender, em seus materiais de marketing, que é uma solução totalmente baseada em IA, mas na realidade não parece operar inteiramente só com IA.
Em casos extremos, isso pode virar uma questão ética e levar a sanções da ordem dos advogados, mas na maioria das vezes não se limita a consequências de reputação? Há situações em que se pode responsabilizar juridicamente um advogado por um contrato mal redigido?
Entre as áreas em que LLMs podem ajudar, o campo jurídico é uma das mais promissoras. Em 5 a 10 anos — e, olhando para este artigo, talvez isso já esteja quase aqui — imagino poder conversar por algumas horas com um LLM “advogado” que tenha acesso aos meus documentos fiscais, médicos, de seguro e de casamento, recebendo aconselhamento e informações personalizados sem pagar 500 dólares por hora.
Virá uma onda de pessoas comuns juridicamente mais bem informadas, e estou realmente animado com isso.
Já fiz perguntas a LLMs sobre licenças de software e consequências jurídicas, e consegui formar uma base sem envolver um especialista caro para questões de nível de projeto pessoal.
Mas, se houver muito dinheiro em jogo na decisão, é claro que eu usaria serviços profissionais. Nesses temas, “geralmente certo” não basta.
Nosso negócio principal é geração de documentos jurídicos, e funciona com lógica baseada em regras, não com IA. Como resultado do negócio principal, já temos os documentos jurídicos dos usuários, então estamos em uma posição muito boa para criar um recurso auxiliar de chat com IA relacionado a esses documentos.
Recentemente colocamos em produção uma IA de recomendação de produtos. Parte dela é baseada em regras, e os textos de recomendação personalizados são gerados pelo GPT-4. Agora estamos criando um recurso de chat com IA para ajudar usuários a entender vários documentos jurídicos e nossos serviços. Pretendemos substituir o atendimento de primeiro nível por esse chat com IA, mas, antes de ficarem bravos, gostaria que soubessem que o atendimento de primeiro nível atual já é uma IA baseada em regras muito ruim.
O site principal em finlandês é https://aatos.app. Também temos alguns serviços para SE e DK, e recentemente lançamos no UK apenas o serviço de assinatura eletrônica primeiro.
Vou deixar em aberto qualquer julgamento sobre a possibilidade de aplicar LLMs ao campo jurídico até que sejam testados em tarefas além da revisão de documentos e contratos. No jurídico de grandes empresas, a revisão de contratos muitas vezes é terceirizada para centenas de recém-formados, fica mais próxima de um trabalho de revisão que usa a capacidade real de advogados apenas no mínimo, e serve para aumentar a receita das empresas
Os serviços jurídicos que pessoas físicas costumam contratar são coisas como casos de família, casos criminais e juizados de pequenas causas. Não me parece que LLMs em um futuro próximo consigam lidar com a análise específica de fatos e circunstâncias necessária para conduzir um processo criminal por crime grave. Também não vi demonstrarem que um LLM consegue ter acesso à dinâmica familiar individual, específica do caso e complicada exigida em casos de guarda ou divórcios litigiosos
Não vejo motivo para não aceitar LLMs como ferramentas usadas por advogados, mas de forma alguma acho que seja uma tecnologia pronta para ser introduzida na prática real para além de trabalhos jurídicos repetitivos de revisão
Sem emoções, visões pessoais e a jurisprudência construída a partir delas, não sei bem como seriam esses casos
Lidero dados e IA em uma corretora de seguros comerciais baseada em tecnologia. Estamos criando, com GPT-4, uma ferramenta de análise contratual aprofundada especializada em requisitos de seguro, e quando eu estava no Google também criei várias soluções com LLM para a equipe jurídica do Google, de classificação de patentes a suporte a discovery
Modelos de linguagem são excelentes para digerir linguagem jurídica e analisar situações. Mas muitas aplicações jurídicas estão ligadas a decisões importantes que não podem estar erradas, como “isso está coberto contratualmente pelo programa de seguros atual?”. Por isso estamos construindo produtos com LLM para a área jurídica seguindo estes princípios
Deve ser uma ferramenta human-in-the-loop, usada junto com especialistas. Sempre que possível, deve ser projetada como suporte à decisão, não como automação; ainda assim, permite economizar uma quantidade enorme de tempo
É preciso transparência e citações. Se é uma ferramenta usada junto com pessoas, precisa ter mecanismos para construir confiança. Seja destacando as cláusulas do documento que o LLM consultou, seja explicando por que uma parte da análise não foi fornecida, citar as bases é importante
Deve ser ajustada para precisão, não para recall. Em muitos casos de uso jurídicos, falsos positivos e alucinações são especialmente ruins, então ajustar o modelo ou o prompt com foco em precisão ajuda a mitigá-los
Fico curioso se “ajustar para precisão” quer dizer engenharia de prompt ou se significa de fato fazer fine-tuning do GPT-4
Este artigo não é totalmente sem méritos, mas parece uma desculpa para fazer afirmações exageradas sobre uma profissão inteira ou uma “indústria”. Talvez com o objetivo de ganhar visibilidade e vender alguma coisa depois
A pior parte é que, como trabalhos anteriores, ele cita apenas um único preprint. Esse próprio documento trata de raciocínio jurídico geral, não de revisão de contratos. Parte do LegalBench, claro, é “interpretação” e foi construída sobre benchmarks existentes de revisão de contratos, mas dava para ter encontrado artigos mais relacionados
Automação de revisão de documentos jurídicos, incluindo tarefas de pergunta e resposta, é há cerca de 20 anos uma área muito ativa em processamento de linguagem natural, e ficou muito mais ativa depois de 2017. Pelo menos ferramentas como Kira e Luminance, mesmo não sendo baseadas em LLM, já são bastante usadas por departamentos jurídicos e escritórios de advocacia no mundo todo. Portanto, advogados já conhecem suas limitações na prática
Dito isso, ferramentas do tipo Kira não medem o desempenho dos modelos mais recentes nem usam benchmarks transparentes. Nesse sentido, os resultados de benchmark deste artigo são uma adição bem-vinda no contexto do uso de LLMs
Mas, considerando o escopo limitado de revisar 10 documentos com um único playbook de revisão, não era caso de escrever sobre “implicações para a indústria”. Há bastante pose ali, e isso mostra mais que os autores não conhecem bem essa indústria do que o futuro do setor de serviços jurídicos
Se você quer conhecer recursos e limitações, também recomendo estas leituras leves, mas úteis: https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad
Fico curioso para saber que argumentos jurídicos os advogados vão criar para enfraquecer uma tecnologia que ameaça o setor deles
Os argumentos vão variar do risco de defesa ineficaz até “pensem nas crianças”. Vão usar qualquer coisa que ajude a preservar o monopólio
Vendo os casos recentes em que advogados pesquisaram com ChatGPT e o usaram para ajudar a redigir petições, e a coisa deu errado, não estou totalmente convencido pelo otimismo dos comentários aqui
Criar um pequeno pipeline de geração→verificação não é trivial, mas também não é impossível. Os casos mencionados parecem uma combinação de associates muito preguiçosos com uma compreensão muito ruim do que um LLM faz
Em teoria, textos jurídicos deveriam ser estruturados de forma parecida com código. Como têm uma estrutura lógica, podem ser aplicados a LLMs mais facilmente do que outras formas de linguagem natural
Houve notícias iniciais sobre advogados que apresentaram precedentes “falsos”, mas a reconfiguração da profissão jurídica é uma questão de tempo. Escritórios de advocacia têm muita gente fazendo trabalho simples, como assistentes, e LLMs podem fazer esse trabalho. Essas pessoas são consideradas de colarinho branco, mas vão desaparecer
Vai acontecer de forma parecida com programação. É como ganhar um sócio júnior que precisa ser conferido, e ele pode cuidar da documentação padrão
Não dá para confiar totalmente, mas também não é como se confiássemos totalmente em desenvolvedores júnior. Ainda assim, ele leva você até 80% do caminho
É um espaço de problemas interessante. Há uma teoria jurídica de disrupção cultural que talvez funcione aqui
Digamos que um serviço de autodefesa em juízo por US$ 99 por mês faça duas coisas. 1) Ensine como transferir todos os ativos para meios seguros. 2) Ao mesmo tempo, permita que a pessoa se defenda sozinha em juízo. O objetivo não é vencer, mas travar o sistema. Depois de sinalizar à outra parte que você está juridicamente insolvente, se continuar protocolando petições e tornar tudo o mais penoso possível, ela pode perceber que o processo de apelação levará 5 anos e simplesmente desistir
É verdade que advogados não querem entregar documentos jurídicos a serviços de modelos, mas, sinceramente, talvez baste ir aos tribunais, coletar um grande volume de peças protocoladas e treinar com isso. Nessa estratégia, não são necessariamente necessários documentos excelentes nem uma boa teoria jurídica. Basta que os documentos cumpram os requisitos de protocolo do tribunal. Algo como: “Sim, vamos precisar tomar o depoimento das filhas da sua empregada doméstica a US$ 400 por hora, e, se houver algum problema, podemos marcar uma audiência”. Se um número suficiente de pessoas fizer isso, o sistema jurídico praticamente para, e o poder volta para as pessoas
Em memória de Aaron Swartz, que morreu lutando por esse tipo de questão
https://www.courts.ca.gov/12272.htm
[0]https://en.wikipedia.org/wiki/Paper_terrorism
“Em todos os processos criminais, o acusado terá o direito de contar com a assistência de advogado para sua defesa” — Sexta Emenda da Constituição dos EUA
Se LLMs se tornarem mais competentes que o advogado humano médio, essa cláusula ainda exigirá assistência de um advogado humano?
Talvez a característica mais importante de um advogado não seja o conhecimento técnico
Um LLM pode ajudar com questões de fatos etc. e, se for devidamente estruturado, também poderia oferecer garantias de privacidade mais fortes do que as de um advogado. Claro que não parece provável que isso realmente aconteça