Berman fundó a finales de los años 80 y en Nueva York el grupo Silver Jews junto a Stephen Malkmus y Bob Nastanovich, quienes por aquella época estaban dando al mismo tiempo los primeros pasos de la banda de culto Pavement