Attacken riktades mot en konvoj med fyra bilar i provinsen al-Jawf, nordöst om huvudstaden Sanaa. Vem som ligger bakom är oklart.
– Vi kraftigt fördömer attacken och ber alla krigsförande parter att respektera internationell humanitär rätt, säger Xavier Joubert, landschef för internationella Rädda barnen.
Enligt organisationen har minst 17 barn dödats i attacker i landet den senaste månaden.
Jemen är hårt drabbat av ett fem år långt inbördeskrig. Jemens internationellt erkända regering backas upp av en saudiskledd militärkoalition som genomför flygattacker mot Huthirebellerna, som i sin tur stöds av Iran.