Området där Tyska torget i dag ligger var utkanten av det medeltida Norrköping. Där fanns förmodligen i stort sett bara åbodar (enklare hamnmagasin) utmed Strömmen.
Där bodde också prästen i S:t Olai kyrka. Prästgården fanns där på 1500-talet, men kan ha legat på samma plats sedan kyrkan byggdes. År 1555 slog Gustav Vasa ihop de två församlingar som fanns i Norrköping. S:t Johannes prästgård behölls för den gemensamme kyrkoherden medan Olai prästgård togs över av kronan.
Gården kom att användas i den nya kungsgård som Gustav Vasa skapade i Norrköping. Byggnaderna var troligen uppförda av korsvirke och hade, enligt arkeologen Peter Carelli, ”en viss representativ kvalitet” och lämpade sig därför väl som centrum i en kungsgårdsanläggning.
Norrköpings gård förstördes under nordiska sjuårskriget 1567 och Johan III lät på 1580-talet uppgradera kungsgården till slott. Norrköpingshus var åtminstone delvis uppfört i korsvirke, hade minst ett stort och ett litet torn samt 314 fönster. Slottet totaltförstördes i en brand 1604 och återuppbyggdes aldrig.
Samma år tillträdde Johan, son till Johan III, som hertig av Östergötland. Han gjorde Norrköping till sin residensstad och ville flytta centrum norrut. År 1614 meddelades att en ny allmän torgplats hade inrättats söder om den då nybyggda Saltängsbron. Det skulle ersätta Gamla torget som stadens handelstorg och Gamlebro skulle rivas.
Kring den nya torgplatsen fanns ingen bebyggelse. ”Ett torg utan kringliggande köpmangårdar och bodar var helt enkelt icke funktionsdugligt” och därför stakades tomter ut i området, skrev Björn Helmfrid i Norrköpings historia.
Motståndet inom borgerskapet var dock så stort att hertig Johan tvingades skrinlägga sina planer. Det nya torget kom att användas tillsammans med Gamla torget och Gamlebro skonades.
År 1640 inhägnades en täppa i Stenhusbacken – där Norrköpingshus hade stått – för att ta emot all boskap som fördes in i staden. Norrköping hade fått sitt första ”oxtorg”.
Stenhusbacken donerades 1663 till stadens tyska församling som där uppförde en egen kyrka – förmodligen på grundmurarna från Norrköpingshus. Den invigdes 1673 i närvaro av änkedrottning Hedvig Eleonora som gett kyrkan dess namn. Tyska kyrkan kom i sin tur att ge namn åt det intilliggande torget, som fram till dess hade kallats Nya torget.
Nästa stora bygge vid Tyska torget blev Norrköpings nya rådhus. Sedan rådstugan vid Gamla torget förstörts i den stora stadsbranden 1655 hade de styrande flyttat mellan tillfälliga lokaler, bland annat det nedlagda Sessmanska bryggeriet norr om Tyska torget.
Staden köpte en tomt på södra sidan av torget och uppförde där 1724–1734 ett rådhus i två våningar. Det inrymde bland annat rådhusrätt, kansli och arkiv samt krogen Rådhuskällaren. Intill byggdes stadsvaktens hus med stadshäkte och ett ”pinorum” i källaren.
Rådhusbygget ledde till en statushöjning för hela grannskapet. Runt torget skaffade flera framstående Norrköpingsbor tomter och uppförde stenhus, däribland prosten Reinerus Broocman och borgmästaren Jacob Ekbohm.
Kvarteret Varvet mellan Tyska torget och Strömmen utvecklades från mitten av 1700-talet till Norrköpings krog- och nöjescentrum, med bland annat Stenhuskrogarna och stadens första teaterhus.
Kring förra sekelskiftet blev Tyska torget även ett ekonomiskt centrum när en rad bankpalats restes längs Drottninggatan. Mitt för torget byggde Norrköpings Enskilda Bank sitt huvudkontor i 1899–1902. På andra sidan Nya Rådstugugatan ligger Skandinaviska Banken, som uppfördes 1908 efter ritningar av Norrköpingsarkitekten Carl Bergsten.
Skandinaviska Banken är tillsammans med Rådhuset och Hedvigs kyrka de tre byggnadsminnena kring Tyska torget. På torgets norra sida byggdes Göta Hotell (numera Grand Hotel) till den stora Norrköpingsutställningen 1906.
Redan på 1700-talet konstaterades att rådhuset för litet och frågan om utvidgning eller nybygge togs upp gång på gång. Beslutet dröjde ända fram till 1906 och fyra år senare invigdes den nuvarande rådhusbyggnaden med sitt 68 meter höga torn.
Hertig Johans torg kom inte främst att utmärka sig som handelstorg, men har varit en viktig plats genom Norrköpings historia. Där samlades Norrköpings försvarare inför det ryska angreppet 1719, där svor riksdagen trohet till Gustav IV Adolf 1800 och där firade tusentals människor IFK Norrköpings SM-guld 2015.