Downing Street säger att beslutet inte har att göra med den rapport som släpptes i onsdags och The Guardian skriver att rådgivaren, som heter Samuel Kasumu, ville avgå redan i februari.
Kasumu slutar formellt i maj.
Den så kallade Sewell-rapporten är resultatet av den jämlikhetskommission – ledd av Tony Sewell – som Boris Johnson tillsatte efter Black lives matter-protesterna förra sommaren.
I Sewell-rapporten påstås det att strukturell rasism inte längre är ett problem i Storbritannien och att faktorer som geografi, familj och socioekonomiska faktorer spelar en större roll i jämlikhetsfrågor än etnicitet.
– Jag vill inte säga att regeringen håller med om allt som står i rapporten, men den är byggd på ett nytänkande och stimulerande arbete. Men folk behöver läsa den och fundera, säger Boris Johnson.
Rapporten har fått hård kritik från vissa håll, bland annat från Black lives matter-rörelsen i Storbritannien.
– Vårt samhälle ställs inför väldigt svåra frågor som har med rasism att göra och vi måste göra mer för att reparera det och vi måste förstå hur allvarligt problemet är, säger Johnson.