Nhược điểm chính của vải lụa là mỏng manh, khó giặt sạch và gây lo ngại về môi trường. Tơ lụa dễ bị rách, mất màu và ố vàng, thường cần giặt khô và là sản phẩm động vật bị hầu hết người ăn chay xa lánh. .
Tiếp xúc với ánh sáng mặt trời và hóa chất, chẳng hạn như thuốc tẩy clo, gây ra màu vàng và làm lụa yếu đi. Quần áo lụa không phải lúc nào cũng bền màu và việc giặt giũ không cẩn thận có thể làm hỏng vải. Nếu là lụa bền màu, lụa cần phải giặt tay và làm khô trong không khí. Ngoài ra, bàn ủi nóng có thể làm cháy xém các sợi vải. Vì lụa được lấy từ sâu tơ và thường được nhập khẩu từ châu Á và Ấn Độ, lụa là một sản phẩm động vật và lượng khí thải carbon của nó có xu hướng lớn hơn so với các loại vải tự nhiên, sản xuất trong nước.