På två för ödesdigra minuter avgjorde Varberg både matchen på Nya Parken och serien.
Ledningsmålet kom i den 82:a minuten.
Johan Söderberg tappade bollen på mittplan och några sekunder senare var inhopparen Samuel Aziz fri och smällde in 2-1.
-Precis som i de senaste matcherna så blir vi hårt straffade av vår individuella misstag. Den här gången var det Rasim (Mehmedi) som spelade upp bollen på en felvänd Söderberg som tappade bollen och då högg Varberg direkt, säger Tor-Arne Fredheim.
Mindre än två minuter senare kom det definitiva avgörandet när Varbergs Arif Azemi väggspelade sig igenom avslutade vackert bakom en chanslös Jonathan Rasheed.
-Jag tycker vi ligger perfekt vid det målet, men ändå lyckas de ta sig igenom, säger mittbacken Andreas Hadenius.
Inför den sista och nu helt avgörande matchen om kvalplatsen har Sylvia tre mål tillgodo på Örgryte.
Sylvia möter Lund borta som inte har något att spela om. Örgryte har Skövde kvar att möta och de är behov av en seger för att vara säkra på ett nytt kontrakt.
-Om vi spelar som vi gjorde idag, så är jag säker på att vi fixar det. Allan (Borgvardt) kommer tillbaka då också och det är självklart viktigt, säger Tor-Arne Fredheim.