I ljudinspelningen, som The New York Times har publicerat på sin hemsida, hörs Kerry beklaga sig för en grupp syriska civila över att hans vilja att agera mot Bashar al-Assads regim inte fått gehör.
Mötet, där ett tjugotal personer från bland annat syriska hjälporganisationer deltog, ägde rum den 22 september i FN-byggnaden i New York.
- Det finns förmodligen tre eller fyra personer i regeringen som förespråkar användning av militärt våld, jag har förlorat diskussionen, hörs Kerry säga i inspelningen.
- Vi försöker följa det diplomatiska spåret, och jag förstår att det är frustrerande. Det finns ingen som är mer frustrerad än vad vi är, säger han.
Mötet ägde rum några dagar efter att vapenvilan, som Kerry själv hade förhandlat fram med Ryssland, kollapsade.
Detta har inneburit att den syriska regimen har gjort nya framryckningar i och kring Aleppo med hjälp av ryskt flygunderstöd.
Inspelningen gjordes av en icke-syrisk deltagare vid mötet, skriver The New York Times, som har kontrollerat dess äkthet med flera andra deltagare.
Det amerikanska utrikesdepartementet förnekar inte inspelningens äkthet, men har avböjt att kommentera vad det beskriver som en "privat konversation".