Dès sa mise en activité, la filature Levavasseur se heurte à une crise cotonnière. Celle-ci est due, d’une part, à la concurrence des cotonnades anglaises et, d’autre part, à l’arrêt des importations de coton américain à cause de la guerre de Sécession (1861-1865). La pénurie de matière première entrave l’activité de la filature, dont toutes les machines ne peuvent pas être alimentées. En 1868, l’effectif ne dépasse par conséquent pas les 155 ouvriers (dont des femmes et des enfants), alors que l’usine était conçue pour employer 600 personnes.