Raffinaderiet ligger i den japanska staden Arida, och bilder från platsen visar hur brandmän försöker bekämpa lågorna samtidigt som tjock, svart rök väller ut från byggnaden.
Enligt japanska nyhetskanalen NHK har myndigheterna beordrat evakueringen av 1 281 hushåll, vilket omfattar minst 2 986 personer.
Enligt uppgifter på sociala medier ska det brinna fortfarande och innebära en stor explosionsrisk.
Det rör sig om över 1 300 hushåll som evakueras, enligt japansk media.
Det finns i nuläget inga rapporter om att någon skadats i branden.
Oljeraffinering är en av de största industrierna i kuststaden Arida, som ligger i Wakayama, på ön Honshu.
