Tecnologia de inteligência artificial probabilística

Inteligência artificial probabilística

• Inteligência artificial refere-se à ciência e engenharia de sistemas artificiais capazes de realizar tarefas que exigem inteligência humana. Nos últimos anos, houve avanços interessantes em abordagens de aprendizado baseadas em dados, e machine learning e deep learning possibilitaram novas formas de sistemas computacionais perceberem o mundo. O aprendizado por reforço trouxe avanços decisivos em jogos complexos como Go e em tarefas de robótica.

• Um aspecto central da inteligência é não apenas fazer previsões, mas também compreender a incerteza dessas previsões e considerar essa incerteza ao tomar decisões. Este artigo trata de "inteligência artificial probabilística".

Abordagem probabilística

• A primeira parte trata da abordagem probabilística para machine learning. Discute a diferença entre a incerteza "epistêmica", causada pela escassez de dados, e a incerteza "aleatória", decorrente, por exemplo, de observações e resultados com ruído. Também discute abordagens concretas para inferência probabilística e abordagens modernas para inferência aproximada eficiente.

Consideração da incerteza em tarefas de decisão sequencial

• A segunda parte aborda a consideração da incerteza em tarefas de decisão sequencial. Considera aprendizado ativo e otimização bayesiana, que são abordagens de coleta de dados por meio da proposição de experimentos informativos para reduzir a incerteza epistêmica. Também considera o aprendizado por reforço e abordagens modernas de deep RL que utilizam aproximação de função com redes neurais. Discute abordagens modernas de RL baseado em modelo, que usam incertezas epistêmica e aleatória para orientar a exploração e levar a segurança em conta.

[GN⁺]

Comentários do Hacker News

• O texto tem diagramas explicativos excelentes e parece oferecer uma visão geral de alta qualidade sobre aprendizado de máquina sob a perspectiva da probabilidade

  • Recentemente fiquei muito impressionado com o livro-texto gratuito e as aulas no YouTube de Zhao, "Mathematical Foundation of Reinforcement Learning"
  • Se você não tem muito tempo, vale a pena ao menos dar uma olhada no diagrama de visão geral do Zhao. É um bom mapa conceitual de toda a área
  • E também recomendo assistir ao vídeo introdutório

• Encontrei este material há alguns dias e estava procurando uma desculpa para analisá-lo com seriedade, já que Andreas Krause fez pesquisas profundas e interessantes sobre Gaussian Processes e Bandits

• A realidade existencial é uma distribuição de potenciais, não um arranjo de estados

  • O potencial existe, e a probabilidade é a descrição matemática dessa distribuição. Toda propriedade é uma dimensão (vetor)
  • O estado é apenas uma medição momentânea da resolução. Os potenciais interagem por meio de interferência construtiva e destrutiva
  • A interferência construtiva e destrutiva se resolve no estado do "agora" como medição momentânea

• Uma pergunta sobre se um LLM (ou seja, uma rede neural) pode informar a probabilidade da resposta que acabou de dar

  • Estudei esse tipo de coisa na universidade há muito tempo e criei um interpretador Prolog com probabilidade e coeficiente de confiança para cada termo

• Acho que precisamos de uma GUI para democratizar a interpretabilidade dos modelos e permitir que até gamers possam explorá-la

  • Basicamente, seria treinar outro modelo para converter o LLM em uma forma 3D e colocá-lo em um mundo 3D compreensível para humanos
  • Como exemplo simples, representar o LLM como um campo verde e objetos, com o humano definido como o único agente

• Acho que Gaussian Processes com o kernel adequado podem ser muito poderosos mesmo com apenas alguns pontos de dados e um pequeno conjunto de parâmetros

  • Usei isso em tarefas de visão computacional como um processo não linear previsível para ajustar a entrada, e os resultados foram muito bons

• Parece ser uma das melhores referências sobre o tema, com alguma sobreposição parcial. É mencionado "An Introduction to Statistical Learning", de Gareth James e outros

  • Fico curioso se este material é mais acessível, e exemplos em R/Python seriam úteis

• Kevin Murphy está renomeando sua série Probabilistic Machine Learning

• O Gemini 2.0 Experimental 02-05 viu isso com "apenas" 107K tokens

  • É útil se você precisar de ajuda para decompor isso

• Laplace Approximation é uma maneira "rápida e simples" de transformar distribuições de probabilidade complexas em uma Gaussian simples (curva em sino)

  • Funciona encontrando o ponto mais alto e ajustando a curvatura nesse ponto
  • É rápida e fácil, mas pode ser muito imprecisa e excessivamente confiante se a distribuição real diferir da curva em sino

• Assisti a esse curso na ETH Zurich e é um dos meus favoritos

  • Fiquei especialmente impressionado com a forma como ele quantifica a incerteza e constrói os blocos iniciais do aprendizado por reforço
  • É uma excelente leitura para cientistas de dados e engenheiros de ML. Este documento são notas de aula