Premiärministerns kontor uppger att polischef Constantinos Skoumas har avskedats mindre än två månader efter att han tillsattes på posten.
Ingen specifik orsak har presenterats ligga till grund för beslutet, som kommer samtidigt som polisen kritiserats för sin hantering av protesterna efter den dödliga tågolyckan där 57 personer miste livet när två tåg kolliderade.
"Tillsättningen av en ny polischef syftar till (att introducera) en mer positiv och effektiv implementering av moderniseringen av polisen av säkerhetsskäl för medborgarnas skull", uppger premiärministerns kontor.
I torsdags protesterade över 40 000 människor runt om i Grekland mot regeringens hantering av olyckan i februari.