Al 1960, Widrow i Hoff van fer una millora sobre l'algorisme del perceptró coneguda com adaline ( adaptive linear neuron) o regla Delta. Aquesta modificació permet que la xarxa aprengui més ràpidament i de manera més eficaç.