Regeringen utsåg Stoltenberg under fredagen. Han var en av två toppkandidater till positionen. Den andra var vice centralbankchef Ida Wolden Bache.
– Jag har stor respekt för den viktiga roll som Norges bank spelar i det norska samhället, säger Stoltenberg på videolänk från Bryssel.
– Jag sökte jobbet för att jag vill hjälpa till med att lösa bankens samhällsuppdrag, fortsätter han.
Stoltenberg har tidigare varit statsminister i Norge och varit generalsekreterare i Nato sedan 2014.
Utnämningen till den nya posten kommer samtidigt som Nato spelar en viktig roll i krisen som uppstått mellan Ryssland och väst, i och med upptrappningen längs Ukrainas gräns.
62-årige Stoltenberg har dock sagt att han inte kommer att tillträda som centralbankchef förrän hans mandat som Natochef löper ut i oktober.