Enligt israeliska myndigheter hade palestinska ungdomar barrikaderat sig i moskén med fyrverkerier och tillhyggen. De säger sig inte ha haft någon annan utväg att gå in med våld, trots den känsliga situationen. al-Aqsa-moskén ligger på Tempelberget, en höjd i Jerusalems gamla stad som utgör stadens heligaste delar.
Den officiella palestinska nyhetsbyrån Wafa rapporterar att ett stort antal moskébesökare skadats i polisens insats.
Händelsen ledde till en våg av palestinska protester och fördömanden av våldet. Från Gazaremsan avlossades raketer mot samhällen i Israel, men samtliga av dessa sköts ned utan att göra någon skada.
Israel svarade i sin tur med flygräder mot den hårdföra islamistgruppen Hamas, som styr Gaza och vars väpnade gren ligger bakom en del av raketavfyrningarna.
Spänningarna stegras av att många nu är extra måna om religiösa ritualer i samband med storhelgsperioderna påsken, judiska pesach samt muslimernas ramadan.
En liknande våldsspiral för två år sedan ledde till ett elva dagar långt krig med hundratals dödsoffer.