Helikoptern flög över East River i skymningen, längs med en rutt som är populär hos turister som vill överblicka Manhattans skyskrapekantade silhuett.
Men vid 19-tiden i söndags gick något fel och den röda helikoptern av typen Eurocopter AS350 föll snabbt och störtade ner i det iskalla vattnet.
Piloten lyckade ta sig ut och klättrade upp på vraket för att ropa på hjälp. Inuti helikoptern satt passagerarna fastspända tills det att räddningsarbetare kunde skära loss dem.
Två av dem dödförklarades på plats och de tre andra på sjukhus.
– Det är en stor tragedi. Det tog ett tag för dykarna att få ut dessa människor, säger Daniel Nigro från New Yorks brandkår på en presskonferens.
Flygmaskinen är registrerad på ett företag som hyr ut helikoptrar för sightseeingturer och liknande. När olyckan inträffade uppges den ha varit ute på ett privat fotouppdrag.
Olycksorsaken är oklar, men piloten ska ha skickat ut ett meddelande om motorproblem strax före kraschen. Enligt vittnen färdades helikoptern snabbare och lägre än vad som är normalt under flygningar över East River.
Ögonvittnen berättar för The New York Times om helikopterolyckan och vad de såg innan den hamnade i vattnet.
– Det såg nästan ut som att den skulle landa, säger Xinran Jiang som såg olyckan från sitt sovrumsfönster.
– Den rörde sig inte spciellt fort. Vi undrade vart den skulle landa någonstans. I nästa sekund dök den ner i vattnet, säger hon.