Berlusconi, som har kampanjat frenetiskt inför söndagens och måndagens val, beskrevs av sina medarbetare som "överraskad och bedrövad".
Särskilt sved bakslaget i hemstaden Milano, där hans mitten-högerblock tvingas till en andra valomgång om två veckor, då ingen nådde över 50 procent. Berlusconis bundsförvant, borgmästaren Letizia Moratti, fick 41,6 procent av rösterna, vänsterkandidaten Giuliano Pisapia 48 procent.
"Omvalet i Milano är förnedrande för Silvio Berlusconi, som har gjort resultatet till en omröstning om honom själv och hans regering, och han har fått ett slag i ansiktet både personligen och politiskt", skriver kolumnisten Massimo Franco i Corriere della Sera.
Valresultaten bekräftar de opinionsmätningar som har visat att sexskandaler, korruptionsanklagelser och skatteåtal minskat premiärministerns popularitet.
Oppositionen tog hem Turin och Bologna medan Berlusconis parti Frihetens folk ledde i Neapel, där det dock tros bli en andra valomgång.
Valen var det sista testet i valmanskåren innan Berlusconis mandatperiod går ut 2013.
Lokalvalen i 1310 italienska städer och 11 provinser under söndagen och måndagen uppfattas som en mätare på premiärminister Berlusconis grepp om väljarkåren.
Resultatet i Milano tvingar Berlusconis mitten-högerblock till ny valomgång i staden för första gången på 14 år, och ger vänstern en chans att vinna makten i Italiens finanscentrum för första gången på närmare 20 år.
Även Berlusconis huvudallierade, invandringsfientliga Lega Nord, gjorde ett sämre val än väntat. Det kan komplicera de redan ansträngda relationerna inom regeringskoalitionen.
Den andra valomgången ska hållas den 29-30 maj. (TT-Reuters)