Med bara en rösts övertag lyckades 74-åringen säkra premiärministernomineringen i parlamentet.
Rabuka ersätter premiärminister Frank Bainimarama, som suttit vid makten sedan 2006 – först genom en militärkupp, men sedan även vald två gånger.
Rabuka och hans parti Folkalliansen lyckades i koalition med två andra partier säkra 29 mandat och därmed majoritet i förra veckans val. Men Bainimarama, vars parti Fiji först fick 26 mandat, vägrade dagarna efter valet att medge förlust.
I en sluten omröstning i parlamentet på julafton röstade till slut 28 ledamöter för Rabuka som premiärminister och 27 emot.
Tidigare i veckan kallades militär in i Fiji för att mota eventuella våldsamheter efter valet. I ett uttalande nämnde Fijis polis, vars ledning beskrivs som lojal mot premiärminister Frank Bainimarama, spänningar mellan olika etniska grupper utan att gå in på några detaljer. Man hävdade även att man fått underrättelseuppgifter om planer på upplopp.
Få rapporter om oroligheter har dock kommit, och många fijianer fruktade vad de kallar en smygande kupp. Under de senaste 35 åren har fyra statskupper iscensatts i Fiji. Även Rabuka har två gånger lett kupper i Fiji och var premiärminister mellan 1992 och 1999.