Shlomi Katzin gjorde upptäckten när han nyligen dök utanför Haifa vid landets Medelhavskust. Järnsvärdets blad är en meter långt och handtaget runt 30 centimeter.
"Svärdet, som har bevarats i perfekt skick, är ett vackert och sällsynt fynd och tillhörde uppenbarligen en korsriddare", säger Nir Distelfelt vid landets antikvitetsmyndighet i ett pressmeddelande.
Shlomi Katzin hittade samtidigt även gamla stenankare, metallankare och keramikfragment.
På kusten finns många naturliga klippor som ger skydd till fartyg i dåligt väder och fyndet gör att experter misstänker att platsen användes av fartyg under korstågstiden, för 900 år sedan. Tidigare fynd har visat att platsen använts redan för 4 000 år sedan.
Saker som ligger på havsbottnen kan ligga dolda i många år och sedan plötsligt komma fram när bottensanden flyttas av vattenströmmarna.
Dykaren Shlomi Katzin fick som tack för att han lämnat in svärdet till myndigheterna ett intyg på att han uppskattas i sin egenskap av god medborgare.
"Varje gammal artefakt som hittas hjälper oss att lägga det historiska pusslet av landet Israel", säger Eli Escosido vid antikvitetsmyndigheten som på engelska förkortas IAA.
Svärdet ska nu rengöras och undersökas för att sedan visas för allmänheten.