Al 1960, Widrow I Hoff van fer una millora sobre l'algorisme del perceptró coneguda com Adaline (Adaptive Linear Neuron) o Regla Delta. Aquesta modificació permet que la xarxa aprengui més ràpidament i de manera més eficaç.