De som är kvar i lägret säger att polisen stormade lägret på morgonen, samlade ihop deras saker och skrek att alla måste kliva på bussar. Sängar och andra tillhörigheter uppges ha förstörts.
En aktivistgrupp har publicerat ett foto där Behrouz Boochani, en iransk migrant som har varit talesperson för männen, leds iväg av polis. Det kommer även andra vittnesmål om att asylsökande tvingas bort från lägret med våld.
Boochani skriver på Twitter att polisen har slagit migranter och tvingat dem till nya "fångläger".
Polisen uppger att 50 personer av 378 "fridfullt har flyttats" till den närliggande staden Lorengau, och att den enda som har tvingats bort är Boochani.
- Han orsakade problem och sade till de andra flyktingarna att inte flytta från centret så polisen eskorterade helt enkelt ut honom, säger poliskommissarien Gari Baki, som tillägger att Boochani inte misstänks för något brott.
Vägrade lämna
Australiens immigrationsminister Peter Dutton bekräftar insatsen och säger att regeringen vill att människorna i lägret flyttar därifrån. Landets federala polis har däremot ingen personal där och är inte inblandad i insatsen.
Australien har placerat asylsökande som försöker nå landet sjövägen i lägret, men vill att alla där ska flyttas till tre olika transitcenter. När lägret stängdes den 31 oktober stoppades även tillgången till mat, rinnande vatten och el för de omkring 400 personer som har vägrat att flytta.
Ger sig inte
Den australiska premiärministern Malcolm Turnbull upprepar regeringens ståndpunkt, att ingen av männen kommer att tas till Australien.
- De tror att de på det här sättet kan sätta press på den australiska regeringen, för att de ska komma till Australien. Vi kommer inte att ge med oss, säger han.
Asylsökande som försöker ta sig till Australien med båt har sedan flera år tillbaka stoppats eller skickats till läger på Manus eller till Nauru, även om de har haft flyktingstatus. Tillvägagångssättet har kritiserats, men Australien har försvarat det med att det hindrar människor från att drunkna till havs.
Fakta: Får inte komma till Australien
Asylsökande som försöker ta sig till Australien med båt har sedan flera år tillbaka stoppats eller skickats till läger i Papua Nya Guinea eller Nauru, även om de har haft flyktingstatus. Trots stort hemlighetsmakeri har det sipprat ut uppgifter om skräckförhållanden i lägren.
De asylsökande på Manus har erbjudits att flytta till Nauru, men de flesta har duckat erbjudandet av rädsla för ännu sämre förhållanden där. Andra vill inte bosätta sig på annan plats i öriket, av rädsla för ilskna lokalinvånare.
Papua Nya Guineas högsta domstol har beslutat att det strider mot grundlagen att hålla asylsökande inspärrade på Manus.