Den sedan tidigare övergivna byggnaden hyste mängder av hemlösa.
Branden startade i femvåningshuset vid klockan halv två under natten till torsdag, berättar räddningstjänsten för sydafrikanska medier. Det rapporterades tidigt dödsfall och dödstalet har stigit snabbt under morgontimmarna.
Utöver de 73 bekräftade dödsfallen har 52 personer skadats, enligt den senaste uppdateringen från räddningstjänstens talesperson Robert Mulaudzi. Minst sju av de döda personerna var barn, det yngsta var yngre än två år.
Mulaudzi befarar att dödstalet kommer att fortsätta stiga medan räddningsarbetare går "från våning till våning". Kvarlevor av offer radas upp på gatan utanför och placeras under filtar. Den sista glöden släcks medan fler offer söks.
Tillfälligt boende
Byggnaden ligger i centrala Johannesburg och är formellt övergiven och tömd. Men mängder av hemlösa människor – enligt vittnesmål upp emot 200 – har bott där på mer informell basis.
– Inne i själva byggnaden fanns en grind som var stängd så att folk inte kunde ta sig ut, säger Mgcini Tshwaku, som sitter i stadens säkerhetsutskott.
Vid den grinden hittades många av de döda människorna, tillägger han. Andra tycks ha dött när de kastat sig från fönster, säger en myndighetsföreträdare till AP. Ur vissa andra fönster syns virade lakan och liknande saker hänga ut.
– Jag är tacksam över att vara vid liv. Vi var många som sprang och försökte hitta nödutgången och många människor kom då att dö när de andades in rök, säger Kenny Bupe, som besökte en vän i byggnaden.
Han berättar att han var del av en grupp som lyckades bryta upp en låst nödutgång och ta sig ut.
Lättantändliga ”kojor”
Det är vanligt att övergivna byggnader i Johannesburg hyser hemlösa. Ofta är det kriminella grupper som tar kontroll över fastigheterna. Myndigheterna tror att fler än 80 "kojor" hade byggts inuti byggnaden.
Elden spreds väldigt snabbt, och drabbade olika nivåer av byggnaden, på grund av de lättantändliga material som använts, säger Robert Mulaudzi vid räddningstjänsten till AFP.
Johannesburg är Sydafrikas största stad. Storstadsområdet har omkring sex miljoner invånare.
LÄS MER:Putin ställer in resa till G20-möte i Indien
LÄS MER:ANC utmanas – opposition går samman
LÄS MER:16 döda i gasläcka i Sydafrika