Fackföreningsinitiativet har motarbetats av företaget.
– Vi vill tacka (Amazon-grundaren) Jeff Bezos för att han åkte till rymden, för när han var där uppe värvade vi folk, säger initiativtagaren Christian Smalls till journalister.
Fackföreningen fick stöd av 2 654 personer (55 procent) medan 2 131 röstade nej till den (45 procent).
Amazon säger att man är besviken över resultatet och överväger att överklaga det. Bland annat säger man att myndigheten National Labor Relations Board (NLRB), vars uppgift är att skydda anställdas rätt att gå samman, haft "olämpligt och otillbörligt inflytande".
Amazon hävdar att ett fackförbund skulle förstöra företagets direkta relation med anställda, utan garantier att anställda får bättre löner eller anställningstrygghet.
Smalls drog i gång initiativet strax efter det att han fått sparken i mars 2020. Han hade då organiserat en protest med krav på att anställda under det första stora covidutbrottet i New York skulle få skyddsutrustning.
Vid en liknande omröstning i delstaten Alabama i slutet av förra året vann nej-sidan knappt. Men det beslutet har överklagats, eftersom ett avgörande antal röster anses osäkra.