- Australian law map posiciona leis, normas e jurisprudência do Open Australian Legal Corpus em um espaço semântico bidimensional, permitindo explorar de relance a estrutura do sistema jurídico australiano
- No mapa, as diferenças de estilo e finalidade entre tipos de documento têm mais peso do que o tema em comum, revelando uma barreira invisível entre jurisprudência e legislação
- As fronteiras por jurisdição não são nítidas, mas, por restrições de direitos autorais, o corpus inclui apenas decisões da Commonwealth e de New South Wales, e não inclui a legislação de Victoria, Northern Territory e Australian Capital Territory
- Direito de imigração, direito de família e direito penal material são as áreas mais isoladas na região de jurisprudência e também ficam distantes dos documentos legislativos; a jurisprudência de direito urbanístico aparece como a área mais próxima dos documentos legislativos
- A implementação combina embeddings de texto, redução de dimensionalidade com PaCMAP, clusterização com HDBSCAN, rotulagem por tf-idf, mesclagem manual e visualização com Plotly em um procedimento reutilizável de mapeamento semântico de uso geral
Um mapa que posiciona o direito australiano em um espaço semântico
- O mapa posiciona leis, normas e jurisprudência da Austrália em um espaço bidimensional, mostrando a similaridade semântica entre documentos por meio da distância
- Cada ponto representa um documento jurídico, normativo ou jurisprudencial único do Open Australian Legal Corpus
- No computador, ao passar o mouse sobre um documento, é possível ver título, tipo, jurisdição e categoria; ao clicar, é possível abrir o documento
- Os documentos têm cores diferentes por categoria; clicar em uma categoria na legenda a exclui, e dar duplo clique mostra apenas essa categoria
A barreira invisível entre jurisprudência e legislação
- O mapa mostra uma barreira invisível que separa documentos jurisprudenciais e legislativos, em uma estrutura dividida em dois lados, como os polos Norte e Sul
- Mesmo tratando do mesmo tema, decisões judiciais têm mais em comum com outras decisões, e documentos legislativos com outros documentos legislativos
- Essa diferença pode ser vista como resultado de o espaço semântico refletir com força as diferenças de estilo e finalidade entre jurisprudência e legislação, mais do que o tema em si
As fronteiras por jurisdição não são nítidas
- Mesmo colorindo os documentos por jurisdição, não aparecem fronteiras claras entre documentos de jurisdições diferentes
- Porém, por restrições de direitos autorais, o Open Australian Legal Corpus contém apenas decisões da Commonwealth e de New South Wales, e não inclui a legislação de Victoria, Northern Territory e Australian Capital Territory
- A mistura de jurisdições no mapa sugere a possibilidade de que as leis estaduais e federais da Austrália sejam relativamente homogêneas
- As fronteiras restantes entre direito estadual e federal também correspondem melhor a diferenças temáticas do que a doutrinas jurídicas próprias de cada jurisdição
- Isso é coerente com uma estrutura em que tribunais e parlamentos estaduais e federais operam dentro de um único sistema jurídico, e a High Court of Australia arbitra disputas intergovernamentais sobre limites de direitos e poderes constitucionais
Continentes e ilhas da jurisprudência e da legislação
- Dentro das regiões de jurisprudência e legislação, há um continente ao qual pertence a maioria dos documentos e várias ilhas que reúnem documentos do mesmo tema
- A existência de um continente sugere que a maior parte da jurisprudência e da legislação surge de um único conjunto conectado de conhecimento e retorna a ele
- Algumas ilhas legislativas e jurisprudenciais ficam completamente separadas do continente
- Tariff concession orders formam um arquipélago próprio ao regular categorias técnicas de bens que podem ser importados
- airworthiness directives formam uma grande ilha focada na regulação de componentes de aeronaves
- A maior ilha por área é composta quase inteiramente por casos de imigração
- Entre 19 possíveis áreas do direito, apenas direito de imigração e direito de família aparecem com mais frequência fora do continente do que dentro dele
- Já havia a percepção de que o direito de família é um tanto isolado do restante do direito, e o mapa apresenta uma forma que sustenta esse isolamento
- Casos de direito de imigração tendem a fazer referência a legislação e jurisprudência específicas de imigração, aparecendo de forma relativamente autocontida
A posição do direito penal, de família e de imigração
- Direito de imigração, direito de família e direito penal material também se agrupam próximos em latitude, indicando uma possível conexão
- As três áreas têm foco especial em regular a vida das pessoas, não se limitando a tratar de direitos patrimoniais de pessoas jurídicas
- A jurisprudência dessas três áreas é o tipo de jurisprudência mais distante dos documentos legislativos no mapa
- Essa distância não significa que essas áreas não citem legislação; ela pode estar relacionada à possibilidade de dependerem mais de precedentes do que outras áreas jurisprudenciais, ou às limitações de representar relações multidimensionais complexas em um mapa bidimensional
- A área jurisprudencial mais próxima dos documentos legislativos é o direito urbanístico, pois com frequência trata de leis e regulamentos de planejamento local
- A grande ilha em forma de hexágono do direito penal é composta principalmente por casos de direito penal material, enquanto os casos penais conectados ao continente judicial costumam estar mais relacionados ao processo penal
- Isso é coerente com a grande divisão que separa o direito material em direito penal e direito civil, e com o fato de que o direito processual penal e o direito processual civil compartilham vários princípios comuns de justiça natural
A common law parece um continuum
- Ao percorrer o continente jurisprudencial de baixo para cima, a jurisprudência australiana parece mais um continuum do que uma estrutura rigidamente dividida
- Casos urbanísticos se conectam a casos ambientais, e casos ambientais se conectam a casos fundiários
- Casos fundiários encostam em casos contratuais; ao norte dos casos contratuais há casos processuais, a oeste há casos de propriedade intelectual, e a leste há casos comerciais
- Ao norte do direito processual estão o direito penal e a difamação; a oeste do direito de propriedade intelectual seguem-se direito administrativo, direito de saúde e serviços sociais, direito trabalhista, negligência e direito de transportes
- A leste do direito comercial ficam a equity e parte do direito de família
- O entrelaçamento entre direito urbanístico, ambiental e fundiário, e o fato de casos de negligência se relacionarem muito a pedidos ligados a acidentes de trânsito e acidentes de trabalho, agrupando-se perto do direito de transportes e do direito trabalhista, combinam bem com a compreensão existente sobre as relações entre áreas do direito
- Algumas decisões de direito fundiário se sobrepõem a casos comerciais e processuais, e esses casos em formato de faixa tendem a se concentrar em disputas hipotecárias relacionadas a inadimplência
- Decisões de direito de transportes se dividem entre um grupo conectado ao continente e outro conectado à ilha de direito penal material
- Decisões de transportes conectadas à ilha penal frequentemente se concentram na suspensão de licenças de transporte
- Decisões de transportes conectadas ao continente tendem a se concentrar em acidentes de transporte
Estrutura identificada pelo mapeamento semântico e possibilidades de expansão
- O mapa reflete diferenças conhecidas entre jurisprudência e legislação, ao mesmo tempo que revela possíveis divisões e conexões ocultas entre áreas do direito
- Em especial, destacam-se os seguintes padrões
- Direito de imigração, direito de família e direito penal material são as áreas jurisprudenciais mais isoladas no mapa
- Direito de imigração, direito de família e direito penal material são as áreas jurisprudenciais mais distantes dos documentos legislativos
- Direito urbanístico é a área jurisprudencial mais próxima dos documentos legislativos
- Não aparece uma distinção visível entre direito estadual e federal australiano em termos de estilo, princípios interpretativos e doutrina jurídica geral
- Um mapa tridimensional poderia revelar novas relações ocultas difíceis de expressar em duas dimensões
- Adicionar jurisprudência e legislação de outros estados e territórios poderia aumentar a resolução do mapa jurídico da Austrália
- Adicionar documentos jurídicos de outros países de common law, como UK, Canada e New Zealand, poderia capturar interações históricas e contínuas entre sistemas jurídicos
- O mapeamento semântico não se limita ao direito australiano e pode ser usado para entender rapidamente a composição e a estrutura de grandes datasets não estruturados
Procedimento de implementação: da vetorização à visualização
- O processo de mapear semanticamente um dataset arbitrário se divide, em linhas gerais, em vetorização, clusterização, rotulagem, redução de dimensionalidade e visualização
- O significado do texto é representado como um conjunto de números, isto é, um vetor ou embedding, e a similaridade entre vetores é usada para estimar aproximadamente a similaridade semântica entre documentos
- A escolha do modelo de embeddings de texto foi feita com base no Massive Text Embedding Benchmark (MTEB) Leaderboard da Hugging Face
- Na época da criação do mapa,
BAAI/bge-small-en-v1.5era um dos bons modelos open source em relação ao tamanho; hoje, seu fine-tuningavsolatorio/GIST-small-Embedding-v0ocupa uma posição mais alta - Modelos modernos de embeddings de texto têm uma janela de contexto fixa, que é o número de tokens que podem ser vetorizados de uma só vez
- A janela de contexto do
GIST-small-Embedding-v0é de 512 tokens - Uma palavra pode ser estimada em cerca de 0,75 token, permitindo vetorizar aproximadamente 384 palavras de uma só vez
- A janela de contexto do
- Textos longos são divididos em chunks de até 512 tokens; cada chunk é vetorizado e, depois, é feita uma média dos vetores para representar o significado médio do texto completo
- Simplesmente cortar a cada 512º token pode separar informações semanticamente importantes, por isso é necessário um semantic chunker que divida o texto em trechos significativos
semchunké uma biblioteca Python que divide textos recursivamente ao procurar sequências de caracteres que indicam separações semânticas, como quebras de linha consecutivas e tabulações
Redução de dimensionalidade e clusterização
- Os dados vetorizados são reduzidos de vetores de alta dimensão para coordenadas em duas dimensões, ou em dimensões menores, para serem exibidos no mapa
- A redução de dimensionalidade também é usada para amenizar a maldição da dimensionalidade, que dificulta a clusterização de dados de alta dimensão
- O modelo de redução de dimensionalidade usado foi o PaCMAP, empregado como um modelo rápido e preciso capaz de preservar estruturas globais e locais
- Para exibição no mapa foram usadas 2 dimensões; para facilitar a clusterização, a redução foi feita para 80 dimensões
- Em outro dataset com cerca de 400 datapoints, 2 dimensões funcionaram melhor do que 80, portanto é preciso testar várias dimensionalidades conforme os dados
- A clusterização foi feita com HDBSCAN
- Diferentemente de
k-means, o HDBSCAN não obriga todos os datapoints a pertencerem a um cluster - Na época da criação do mapa, o Open Australian Legal Corpus tinha 218.336 textos jurídicos, dos quais 84.780 (38,8%) não foram clusterizados
- Outros 10.100 (4,6%) foram colocados em clusters que pareciam não ter características comuns significativas
- No total, 94.880 documentos (43,4%) não foram atribuídos a clusters significativos e foram excluídos do mapa
- Na época, foi usado
fast_hdbscan, mas depois se descobriu que ele tende mais do que o HDBSCAN comum a criar clusters vazios em alguns pontos; por isso, os exemplos de código usam o HDBSCAN comum min_cluster_sizedefine o número mínimo de datapoints de um cluster; quanto menor o valor, mais granulares são os clusters, e quanto maior, mais amplos eles se tornam- No trabalho final,
min_cluster_sizefoi definido como 50, gerando 507 clusters únicos, que depois foram reduzidos manualmente para 19 áreas do direito
Rotulagem e mesclagem manual
- Para atribuir rótulos significativos aos clusters, foram verificados os principais tokens de cada cluster com tf-idf
- O tf-idf atribui pontuações mais altas a tokens que aparecem com frequência em um determinado cluster e são relativamente menos comuns no dataset completo
- Primeiro foram mesclados clusters com os mesmos 4 principais tokens, mas isso removeu apenas 2 dos 507 clusters
- Em seguida, foram criadas manualmente 337 regras de mesclagem de clusters com base nos principais tokens, chegando por fim a 19 áreas do direito
- No processo de mesclagem manual, tentou-se deixar que os dados conduzissem as categorias, mas, à medida que o número de clusters diminuía, foi preciso tomar decisões difíceis sobre quais categorias incluir e excluir
- Também não foi fácil representar 19 categorias com cores mutuamente distinguíveis, problema resolvido com o uso da paleta de cores publicada por Sasha Trubetskoy
- A mesclagem manual é adequada quando é necessário compreender profundamente a composição dos dados ou quando a precisão e a acurácia do resultado final são especialmente importantes
- Nos demais casos, é mais vantajoso ajustar o modelo de clusterização para criar menos clusters e rotulá-los automaticamente com os 3 principais tokens tf-idf ou com um modelo de linguagem grande
- Um exemplo de rotulagem automática consiste em fornecer a
gpt-4ou a um modelo compatível com a OpenAI API snippets aleatórios de documentos e os principais tokens tf-idf, pedindo que gere rótulos com menos de 4 palavras
Visualização com Plotly e limitações
- O mapa final foi configurado para criar gráficos de dispersão 2D ou 3D com Plotly
- A principal limitação do Plotly é não permitir aumentar o tamanho dos datapoints junto com o zoom do mapa
- Com centenas de milhares de datapoints, os pontos se sobrepõem; se o tamanho dos pontos for reduzido, eles ficam difíceis de identificar quando o mapa está ampliado
- Alguns problemas do Plotly foram contornados com CSS e JavaScript personalizados, mas esse código não foi compartilhado
- Após a visualização, segue-se a etapa de análise, que examina padrões topográficos, outliers, ilhas e a estrutura básica dos dados no mapa
- Acredita-se que aplicar a mesma técnica ao corpus do Common Crawl poderia criar um mapa semântico de alta resolução da internet
1 comentários
Opiniões no Hacker News
Trabalho incrível. A frase “se aplicarmos essa técnica ao Common Crawl, podemos criar um mapa da internet” me marcou especialmente
Há anos estou fascinado por transformar em mapas coisas que normalmente não aparecem em mapas, e já criei vários. Um dos mais conhecidos é o Music-Map: https://www.music-map.com
Há tempos eu queria criar um mapa da web, então até registrei o domínio web-map.com; também experimentei um crawler personalizado e algoritmos para encontrar rapidamente sites relacionados, e parecia bastante viável
Só que já estou mantendo vários mapas experimentais e ainda não encontrei um modelo de negócio para fazer mapas de tudo, então deixei em espera
Usei um pequeno modelo de embeddings e análise de componentes principais (PCA) para redução de dimensionalidade: https://weblog.snats.xyz/posts/2024/03/20/
Era bem divertido ver quão distantes dois artistas estavam por meio de uma longa cadeia de colaborações. Como na maioria dos mapas de relações humanas, no fim ele se reduzia a alguns superconectores que colaboram com centenas de pessoas e a pequenos grupos ao redor deles, mas também revelava agrupamentos interessantes
Existe um mapa parecido e muito legal, mas já é bem antigo: http://internet-map.net/
A expressão “o direito jurisprudencial australiano parece uma espécie de continuum” gera uma imagem bonita, mas eu gostaria de enfatizar o ditado de que o mapa não é o território
Esse continuum pode ser mais uma função do método de projeção, da métrica de similaridade escolhida etc. do que da estrutura real do conhecimento jurídico
Claro que isso não significa que não se possa aprender com o mapa, mas a estrutura real do conhecimento do conjunto de documentos não precisa necessariamente ser um continuum conveniente
Ainda assim, a documentação do projeto é excelente e permite ver o domínio do direito australiano de uma nova forma
Escrevi pensando tanto em leitores da área jurídica quanto em leitores de ciência de dados, tentando não fazer as inferências parecerem mais do que inferências, mas também sem explicar de maneira técnica demais as limitações de tentar mapear conhecimento semanticamente com a tecnologia atual
Dito isso, como alguém que estudou direito, o direito jurisprudencial australiano de fato se aproxima, em certa medida, de um continuum. Um único caso pode tocar várias áreas do direito, e, quando um juiz decide, não há grandes restrições sobre os temas dos precedentes que ele pode citar, além da relevância e de serem ou não vinculantes
Também achei interessante que os agrupamentos finais tenham ficado surpreendentemente parecidos com a forma como aprendi direito na universidade. Isso mostra que houve muita reflexão no desenho dos cursos de direito na Austrália. De fato, existem as 11 disciplinas obrigatórias, as Priestley 11, e todas aparecem refletidas no mapa: https://en.wikipedia.org/wiki/Priestley_11
Visualizações desse tipo me parecem bem estranhas. Não sou especialista em direito, mas li muitos livros didáticos de direito
Em geral, eu esperaria que o direito codificado formasse uma estrutura relativamente esparsa, parecida com tentáculos
O direito jurisprudencial, por natureza, costuma ter um caráter intermediário: juízes preenchendo significados ambíguos ou lacunas do direito codificado
Mas é difícil aceitar que o direito jurisprudencial e o direito codificado formem dois agrupamentos distintos; isso parece um erro de modelagem de domínio. Parece o tipo de resultado que se obteria ao aplicar ingenuamente uma métrica de similaridade textual ao conjunto de dados sem considerar o modelo de domínio
Além disso, em um país de common law como a Austrália, há muitos conceitos jurídicos que se desenvolveram independentemente da legislação e que ainda permanecem independentes, ou que mais tarde acabam sendo formalizados por lei. Um exemplo são os ilícitos civis: https://www.alrc.gov.au/publication/traditional-rights-and-freedoms-encroachments-by-commonwealth-laws-ip-46/16-authorising-what-would-otherwise-be-a-tort/the-right-to-sue-in-tort/
É um trabalho enorme. Como alguém que desenvolve web com recursos próprios, fico me perguntando como ele arruma tempo para fazer algo assim
Não sei se isso é para fortalecer o currículo, se é um produto ou protótipo, ou se é fruto de puro apreço pelo tema, mas, no mínimo, é extraordinário
A explicação técnica também foi boa e, embora eu tenha passado a ler mais por alto a partir do meio, parece uma combinação de algoritmos modernos de embeddings com clusterização tradicional de aprendizado de máquina
Agora que os dados básicos existem, fico curioso se ele já pensou em usar um modelo generativo completo para fazer análise semântica, como “resuma este subconjunto de casos e marque-o com determinadas situações ou questões sutis”, e depois clusterizar esses resultados. Espero que os inúmeros desenvolvedores que, no último ano, vêm aplicando grandes modelos de linguagem ao case law nos EUA estejam fazendo algo parecido
Este é o tipo de projeto que dá vontade de dizer que eu adoraria colaborar, mesmo já estando com a agenda lotada; então vou me contentar em colocá-lo num lugar bem honroso na minha pasta de comentários e favoritos de inspiração
Umar Butler é um cientista de dados, especialista em tecnologia jurídica e pesquisador de inteligência artificial australiano, e mantém um blog sobre direito, tecnologia, inteligência artificial e temas na interseção entre eles
Como parte de sua pesquisa em tecnologia jurídica e inteligência artificial, ele lançou um dataset de LLM para aprendizado do direito australiano, o maior banco de dados público de direito australiano, o primeiro LLM público para direito australiano, entre outros
Atualmente, trabalha no Attorney-General’s Department como diretor-adjunto de ciência de dados, onde assessora o uso responsável de inteligência artificial para viabilizar, acelerar e melhorar a tomada de decisões públicas e a análise jurídica e de políticas públicas, além do desenvolvimento de políticas centrais de inteligência artificial
Gostei muito de como, no mobile, a visualização interativa foi substituída por capturas de tela. A experiência de leitura no celular fica muito melhor
Um trabalho muito bacana e digno de parabéns
Quando eu estava na faculdade de direito, costumava imaginar o common law como uma teia de interdependências; esta visualização é parecida, mas não captura completamente as dependências que eu tinha em mente
Common law se refere principalmente ao direito criado por juízes de tribunais de apelação. Às vezes, ele acrescenta significado, interpretação e definições sobre leis; outras vezes, é criado inteiramente quando não há uma lei que se encaixe exatamente na questão. Aqui, “criado” significa construído sobre uma longa corrente de precedentes históricos da Inglaterra vitoriana ou até mais antigos
Por isso, pessoas nos EUA que criticam “direito criado por juízes” soam ridículas. Praticamente todo o direito dos EUA é, na prática, direito criado por juízes
Sempre achei que o common law se presta bem a ser representado como uma estrutura de grafo, em que casos ou precedentes são nós, e as arestas codificam de alguma forma a força com que sustentam o precedente. Se juízes pudessem visualizar a força dos precedentes, talvez pensassem com mais cuidado antes de se afastar deles
Esta representação é um passo nessa direção, e espero que esta tecnologia se expanda para outros países de common law
Lido há bastante tempo com todo tipo de coisa no sistema jurídico australiano; por um período, atuei por conta própria e estudei sozinho, e mais recentemente passei a contar com a ajuda de advogados
Também li por conta própria várias leis relacionadas a procedimentos civis e criminais, e já esbarrei na parede invisível entre legislação e case law
Este trabalho se alinhou de forma surpreendente aos meus interesses, e obrigado por organizá-lo. A única pena é que teria sido muito mais útil se tivesse sido publicado alguns meses antes
Um texto excelente, em que dá para sentir o esforço investido tanto na análise descritiva dos dados quanto na decomposição técnica do processo
No ano passado, eu tive uma ideia parecida de tentar mapear o case law e as leis do Reino Unido
Como sempre, a vida entrou no caminho e o projeto foi parar na minha coleção de coisas meio acabadas, mas ler este excelente texto me deu vontade de tentar de novo
Em vários países da Commonwealth, parece que muitas vezes não há uma codificação oficial sistemática do case law, do direito administrativo e das leis aprovadas pelo Legislativo e sancionadas pelo Executivo
Nos EUA, que se separaram da Commonwealth, há o US Code oficial e códigos estaduais, além de tentativas de organizar os efeitos do case law, do direito administrativo e das leis aprovadas. Já o Canadá tem algumas codificações, como o Criminal Code, mas nem todas as leis do Parlamento estão reunidas em um único código
No Reino Unido, até onde sei, não há algo assim para a Inglaterra ou o País de Gales, e Hong Kong tem uma certa forma de codificação com a Basic Law e suas ordenanças. Fico curioso se a Austrália tem codificação em nível federal ou estadual
O US Code é direito escrito, e o Code of Federal Regulations é direito administrativo. Não há codificação do case law; há apenas os repositórios de jurisprudência
Esses repositórios são mais como um fluxo sequencial dos resultados das decisões, de forma parecida com a publicação sequencial de leis em lugares que não codificam a legislação. Em geral, os estados também codificam o direito escrito e o direito administrativo, mas não o case law