Beskedet kom i ett tv-sänt tal av premiärminister Haider al-Abadi tidigt på söndagen.
- Jag säger till Daesh (IS) att det inte finns något annat val än att lämna eller bli dödad, sade al-Abadi.
Tidigare i veckan drog Iraks regeringsstyrkor och dess allierade igång flygbombningar mot Tal Afar, åtta mil väster om Mosul. Staden är sedan juni omringad av irakiska regeringsstyrkor och shiamiliser i söder och kurdiska peshmergastyrkor i norr. Staden ligger längs den väg som förbinder Mosul med Syrien och som tidigare varit en viktig försörjningsled för terrorgruppen.
Omkring 2000 IS-medlemmar finns kvar i staden enligt amerikansk och irakisk militär. Hjälporganisationer tror att de flesta civila redan kunnat lämna staden.
Några timmar innan premiärministerns tal spreds flygblad över staden, med uppmaningen "förbered er, slaget är nära förestående och segern kommer, med Guds hjälp".
Enligt FN har 49000 människor flytt området runt Tal Afar sedan i april. De som befunnit sig inne i staden vittnar om svåra förhållanden, med minskande förråd av förnödenheter.
I somras utropade regeringssidan seger mot IS i Mosul, den största stad som IS haft kontroll över. Det var där terrorgruppen utropade ett eget kalifat 2014.