Boosting é uma técnica que foi apresentada pela primeira vez por Freund e Schapire no ano de 1997, desde então, Boosting tem sido uma técnica usada para trabalhar os problemas de classificação binária.
Esses algoritmos melhoram a previsão, convertendo aprendizagens e processos fracos em aprendizagens fortes
O princípio por trás deste algoritmo é, construir um modelo no conjunto de dados e, em seguida, um modelo construído para retificar os erros presentes no primeiro. Este procedimento é continuado até e a menos que os erros sejam minimizados, e o conjunto de dados seja previsto corretamente.
Os algoritmos funcionam de forma semelhante, combinando vários modelos (processos fracos) para chegar ao resultado final (processos e modelos fortes e acuidados).
Qual a matemática por trás de diferentes tipos de algoritmos de boost.
Existem basicamente 3 tipos de algoritmos de impulso:
Algoritmo AdaBoost
Algoritmo Gradient Descent
Xtreme gradient descent algorithmo
AdaBoost, também chamado de Adaptive Boosting, é uma técnica em Machine Learning usada como um Método Ensemble. O algoritmo mais comum usado com AdaBoost são árvores de decisão com um nível, o que significa árvores de decisão com apenas 1 divisão. Essas árvores também são chamadas de Decision Stumps
Este algoritmo constrói e desenvolve um modelo e que pretende dar um ponderações iguais a todos os pontos de dados. Em seguida, atribui ponderações com lógicas de peso mais alto aos pontos que são classificados incorretamente. Desta forma, todos os pontos com ponderações mais altas recebem mais importância no próximo modelo. Ele manterá este modelo até que um erro baixo seja percepcionado.
