– Jag tar ansvaret för resultatet i de här valen. Jag avgår som premiärminister och som ledare för Socialdemokraterna, sade Zaev vid en presskonferens.
Zaev tillträdde 2017, och kom året därpå överens med Grekland om att lägga till "Nord" i landets namn, för att kunna gå med i Nato och så småningom EU.
Sommaren 2020 vann han valet och kunde efter en utdragen process bilda en brokig koalitionsregering tillsammans med bland annat det största partiet som representerar landets albanska minoritet.
Förlorade i Skopje
Även om officiella resultat från helgens val ännu inte kommit in erkände Zaev att hans parti besegrats i det viktiga borgmästarvalet i huvudstaden Skopje. Sittande borgmästaren Petre Shilegov förlorade där mot mittenhögerutmanaren Danela Arsovska, som blir den första kvinnan på posten.
Kandidater som stöds av landets huvudsakliga oppositionsparti VMRO-DPMNE ser ut att vinna i minst hälften av landets kommuner, medan Socialdemokraterna tar hem segern i färre än 20. Vid valen 2017 vann som jämförelse Socialdemokraterna på 57 platser och VMRO-DPMNE bara fem.
Vill se nyval
Hristijan Mickoski, ledare för VMRO-DPMNE vill att nya parlamentsval hålls till följd av resultatet och anser inte att socialdemokraterna inte längre har legitimitet.
– Det här är en ny verklighet. Det bästa nu vore nyval, säger han.
Egentligen ska nästa parlamentsval hållas först 2024, men det är upp till parlamentet att bestämma hur man vill göra. Enligt landets grundlag måste man först godkänna Zaevs avgång, vilket inte är givet. Regeringskoalitionen har 62 av 120 stolar.
Om avgången godkänns inleds förhandlingar om att bilda en ny regering under en annan socialdemokratisk ledare.