Men något titelförsvar i år blir det inte – det såg Southampton till, som vann hemmamatchen mot Premier League-kollegan med 1–0 och är vidare till femte omgången.
Extra surt för Arsenal: Klubben blev utslaget efter ett självmål.
Det var i 24:e minuten som mittbacken Gabriel fick en fot på Kyle Walker-Peters inspel från högerkanten och styrde in bollen bakom Arsenal-målvakten Bernd Leno.
– Vi hade en dröm om att vinna igen och den drömmen är nu över. Jag är besviken över sättet som vi fick målet emot oss. Samtidigt kan jag inte klaga på spelarnas ansträngning, säger tränaren Mikel Arteta enligt AFP.
West Ham slog Doncaster, från tredjedivisionen, med 3–0 och får i nästa omgång möta antingen Manchester United eller Liverpool.