Limitações e problemas da IA atual
Por que é difícil usar IA para finalidades sérias
- Do ponto de vista da engenharia de software, os sistemas de IA atuais carecem de confiabilidade porque têm dificuldade para gerenciar de forma eficaz a complexidade e a escala
- Softwares de grande impacto precisam ter transparência, capacidade de gerenciamento e responsabilização, mas a IA atual não atende a esses requisitos
- Falta responsabilização pela origem dos dados, e a responsabilidade pelos resultados dos algoritmos de IA também é ambígua
- Houve tentativas de criar "IA explicável" e de mitigar vieses, mas o problema fundamental da responsabilidade sobre os dados e a dificuldade de engenharia continuam sem solução
Como funciona a IA baseada em redes neurais
- A IA atual é baseada em redes neurais de grande escala (LLMs, IA generativa etc.), com milhões de neurônios interconectados
- O treinamento ocorre principalmente por aprendizado não supervisionado ou auto-supervisionado, com intervenção humana mínima
- As funções do sistema são determinadas no processo de treinamento, ao aprender os dados fornecidos para atender aos objetivos de saída
- São necessários vastos recursos computacionais, o que implica custos e consumo de energia muito altos
A natureza não estruturada das redes neurais e o "comportamento emergente"
- Os sistemas de IA atuais exibem comportamento emergente, e é difícil explicar o funcionamento do sistema inteiro apenas com a definição matemática de neurônios individuais
- A estrutura interna do sistema não tem relação significativa com sua função, o que torna impossível reutilização ou desenvolvimento modular
- Não há modelos intermediários nem desenvolvimento em etapas, e é difícil explicar as razões e a lógica do sistema
- Mesmo a "intervenção humana" não ajuda de forma substancial a explicar os resultados do sistema
A abordagem composicional na engenharia de software e o problema da IA
- A abordagem composicional (compositionality) consiste em explicar o sistema como um todo ao compreender o significado das partes individuais e a forma como elas se combinam
- A IA atual não oferece suporte a essa abordagem, o que leva aos seguintes problemas:
- A estrutura interna não carrega significado, impossibilitando a reutilização funcional
- O desenvolvimento em etapas ou a verificação incremental são impossíveis
- Não há um modelo explícito de conhecimento, então o sistema não consegue explicar o "porquê"
Limites da verificação
- Nos sistemas de IA atuais, o espaço de entrada e de estados é grande demais, tornando inviável um teste abrangente
- Em sistemas probabilísticos, uma saída correta apenas mostra uma possibilidade para aquela entrada, sem garantir sempre um resultado confiável
- Não é possível fazer verificação parcial, como testes unitários ou testes de integração; só é possível verificar o sistema como um todo
- Mesmo testando o sistema inteiro, a cobertura é insuficiente, dificultando assegurar confiabilidade
O problema dos erros e das correções
- Erros podem ocorrer devido à insuficiência dos dados de treinamento ou à incompletude dos dados de entrada
- Mesmo com retreinamento para corrigir erros, não é possível fazer correções localizadas, e testes de regressão também são difíceis
- Há grande possibilidade de introdução de novos erros, e é difícil detectá-los
Conclusão e propostas
- Os sistemas de IA atuais carecem de confiabilidade e segurança, o que os torna inadequados para aplicações críticas
- A tecnologia atual só pode oferecer melhorias limitadas com o aumento dos dados de treinamento e dos recursos computacionais, sem alcançar um avanço fundamental em confiabilidade
- Propostas:
- Desenvolver sistemas híbridos que combinem redes neurais com IA simbólica
- Gerar modelos explícitos de conhecimento e níveis de confiança, ou combiná-los com técnicas existentes de busca de dados e prova
- Usar em domínios limitados nos quais seja possível gerenciar erros de forma confiável
- Aplicar em áreas específicas, como previsão do tempo, em que previsões probabilísticas sejam adequadas
13 comentários
A questão central é que a IA atual depende de uma verificação indutiva do tipo: até ontem era segura e hoje também é segura, então amanhã também será, sem nenhuma verificação dedutiva.
Como na teoria do cisne negro, continua existindo a possibilidade de que um dia ocorra uma anomalia fatal e, de certa forma, a segurança atual está dependendo da sorte.
Na engenharia de software tradicional, era possível lidar com esse problema identificando e analisando elementos individuais e validando-os dedutivamente por unidade por meio da elaboração de cenários e testes, mas com IA isso ainda é completamente impossível.
Problema que a direção autônoma da Tesla já está resolvendo..
Parece que o grande problema é que, como não é possível verificar formalmente o sistema do modelo, a confiabilidade nunca pode chegar a 100%. Como isso está sendo resolvido na direção autônoma?
A Tesla está mostrando um exemplo de como aplicar IA de verdade ao mundo real.
Nada pode ser 100%. 100% é golpe ou ilusão.
Como qualquer startup, avançamos step by step, de forma ágil.
Também é possível fazer remote control em situações de problema, e no momento estamos operando em modo supervised.
A questão não é o número em si de confiabilidade de 100%, mas sim o fato de a estrutura do modelo não ser explicável, não é?
Parece que o ponto central é que, quanto aos resultados de inferência do modelo, muitos dos modelos atuais de deep learning, especialmente os baseados em redes neurais, são difíceis de explicar apenas mostrando sua estrutura interna.
Só recentemente várias pesquisas e empresas como a Anthropic vêm propondo formas de resolver a caixa-preta, então parece ser um problema que pode acabar sendo resolvido em breve.
Acho que tanto 100% quanto a explicabilidade são uma ilusão.
Como no argumento da "sala chinesa", o importante é que, no fim das contas, a direção autônoma da Tesla seja estatisticamente mais segura do que uma pessoa dirigindo. E a inteligência artificial vai continuar se expandindo e funcionando bem em "quase" todos os casos, chegando perto de 100%.
Muitos gurus (Elon Musk, Eric Schmidt etc.) dizem que a inteligência artificial precisa de mecanismos de segurança justamente porque sabem que ela é inexplicável.
Isto está em uma opinião no Hacker News.
Se considerarmos apenas a precisão dos resultados, sem exigir explicabilidade do modelo, como vamos confiar no produto e usá-lo?
Como você falou de forma muito vaga, não estou entendendo muito bem, mas não é importante que o funcionamento interno do modelo também precise ser explicável para que seja possível algum nível de verificação?
Pela opinião do kandik, a própria razão de existir da Functional Safety desaparece.
É possível explicar a mente humana? Se a mente humana é inexplicável, então como escolhemos novos funcionários?
A mecânica quântica é um modelo estatístico de 100% e, ainda assim, explica bem o mundo.
A ideia de "confiança" também pode ter seu conceito alterado pelo avanço da tecnologia.
De um jeito ou de outro, do ponto de vista dos desenvolvedores, é uma situação realmente cansativa. A gente usa IA justamente para facilitar o trabalho, mas como não dá para saber o quanto os testes precisam ser mais rigorosos para garantir a confiabilidade, fica complicado.
Ao criar um produto, é bom que ele seja explicável. No fim das contas, pessoas não são produtos, então em certos problemas é possível responsabilizar a própria pessoa, mas se um produto tiver defeitos, a responsabilidade recai sobre quem o criou.
Por isso, torna-se ainda mais necessário fazer os testes em um ambiente o mais próximo possível da realidade. Como não conhecemos o princípio de funcionamento, não há outra opção além de treiná-lo de forma a minimizar ao máximo situações excepcionais.
Opiniões do Hacker News
Acompanho a evolução das redes neurais desde meados dos anos 1990 e observei que cada etapa das redes neurais chegou a um beco sem saída. Isso ocorre porque a abordagem matemática atrapalha a compreensão intuitiva. É interessante que os LLMs tornem a busca semântica fácil.
Não é possível prever a escalabilidade dos sistemas de IA atuais. Em comparação com o cérebro humano, o número de conexões neurais é muito pequeno.
A IA baseada em LLMs é defeituosa do ponto de vista do desenvolvimento de software e não é adequada para aplicações críticas.
Humanos cometem erros mesmo em tarefas importantes, e os sistemas de IA também.
Uso IA ativamente e ela ajuda muito em projetos pessoais.
A escalabilidade dos dados já não traz grandes ganhos. LLMs não são o caminho para a AGI.
Há muito debate sobre se a IA representa inteligência. O cérebro humano também não é confiável, e discute-se a adequação dos LLMs para cibersegurança.