Đá bùn hình thành ở đáy các thủy vực như đại dương, hồ và sông, đặc biệt là ở những khu vực yên tĩnh. Đá hình thành khi các hạt đất sét mịn lắng trong nước.
Các lớp trầm tích bên trên chôn vùi và nén chặt bùn trong nước, cuối cùng ép nước ra ngoài và tạo thành đá bùn. Đá bùn và đá phiến sét có thành phần tương tự nhau, cả hai đều được tạo thành từ các hạt đất sét và phù sa. Tuy nhiên, đá bùn cuối cùng tan rã thành các mảnh khối trong khi đá phiến sét tách ra thành các mảnh vụn. Trong khi điều kiện nước lặng chỉ có sự nhiễu động yếu không liên tục có thể tạo điều kiện thuận lợi cho việc hình thành đá bùn, nó cũng có thể hình thành khi tốc độ dòng chảy đủ nhanh để di chuyển và lắng đọng cát.