Arsenal tog ledningen i den 20:e minuten genom Gabriel Martinelli. Men Luton kvitterade kort därefter, innan Gabriel Jesus återigen gav sitt lag ledningen.
I den andra halvleken skruvades tempot upp och på bara några få minuter hade Luton kvitterat – och tagit ledningen.
Ross Barkley fick bollen i straffområdet och drog iväg ett skott som såg inte helt otagbart ut. Men Arsenals målvakt David Raya missbedömde situationen och 3–2 var ett faktum.
Minuter senare kvitterade Kai Havertz till 3–3 och länge var matchen på väg att sluta oavgjort.
Men i den allra sista minuten klev Declan Rice fram.
Sommarens prestigevärvning, som kostade över en miljard kronor att lösa från West Ham, nådde högst upp på ett inlägg och nickade in segermålet, 4–3.
I och med segern leder Arsenal Premier League med fem poäng ner till tvåan Liverpool, som har en match mindre spelad.