OQBoost: árvores oblíquas prontas para uso prático

OQBoost é uma biblioteca de Gradient Boosting Decision Tree (GBDT) baseada em 2D Oblique Split.

As bibliotecas GBDT mais conhecidas hoje, como XGBoost, LightGBM e CatBoost, usam em sua maioria divisões alinhadas aos eixos (axis-aligned). Por fazerem a divisão usando apenas um único atributo, elas são muito rápidas e eficientes, mas precisam combinar várias árvores para representar fronteiras de decisão em formato diagonal ou a interação entre duas variáveis.

Para resolver essa limitação, o OQBoost usa como unidade básica de divisão o 2D Oblique Split, que utiliza dois atributos ao mesmo tempo. Ao realizar diretamente uma divisão oblíqua em um único nó, ele foi projetado para oferecer maior capacidade expressiva mantendo, ao mesmo tempo, uma velocidade de treinamento prática.

Para isso, o OQBoost combina um algoritmo rápido de busca de direção baseado em Grid Label Accumulation com Hessian-weighted Regression, reduzindo significativamente o alto custo computacional das Oblique Trees tradicionais. Além disso, implementa velocidade de treinamento em nível de biblioteca real por meio de várias otimizações, como Lazy Binning, Fast Search, Cache e Precomputation.

Atualmente, o OQBoost oferece os seguintes recursos.

• Binary Classification
• Multiclass Classification (Joint Training)
• Regression
• Native Missing Value Handling
• Native Categorical Feature Support
• SHAP-style Built-in Explanation
• Kernel SHAP Compatibility
• Multi-thread Training
• Scikit-learn Compatible API

Nos experimentos, o OQBoost apresentou desempenho competitivo com bibliotecas GBDT existentes em diversos datasets públicos.

• Binary Classification: 1º lugar no ranking médio de AUC
• Regression: 1º lugar no ranking médio de R²
• Multiclass Classification: desempenho em nível semelhante ao LightGBM e ao XGBoost

O objetivo do OQBoost não é simplesmente reimplementar GBDTs existentes, mas oferecer um novo motor de Gradient Boosting que permita usar Oblique Split a um custo prático.