Khái niệm vật chất nảy sinh với các nhà triết học Hy Lạp cổ đại. Ban đầu, Empedocles đề xuất rằng vạn vật được tạo thành từ sự kết hợp của nước, lửa, đất và không khí.
Theo sau những ý tưởng của Empedocles, khái niệm phân chia tất cả mọi thứ cho đến khi chúng không thể chia thành các phần nhỏ hơn đã ra đời, dẫn đến những lý thuyết sớm nhất về nguyên tử. Democritus là nhà triết học đã nêu rõ khái niệm này và đặt tên cho các bộ phận này là "nguyên tử". Ông tuyên bố rằng nguyên tử không thể bị phá hủy và các hạt nguyên tử tạo nên một vật liệu, chẳng hạn như đá, khác với nguyên tử tạo nên một vật liệu khác, như lông thú.
Kể từ thời Hy Lạp cổ đại, những khám phá hiện đại đã hình thành khái niệm vật chất như ngày nay. Năm 1643, Evangelista Torricelli đã chỉ ra rằng không khí có khối lượng, điều này chứng tỏ rằng ngay cả trong một chất mà người ta không thể nhìn thấy hoặc chạm vào, một cái gì đó vật chất vẫn tồn tại. Daniel Bernoulli đưa ra giả thuyết rằng điều này là do không khí có các hạt hoạt động khác với các hạt của bức tường đá. Theo Bernoulli, các nguyên tử tạo nên không khí đã di chuyển sang một bên khi có thứ khác di chuyển trong không khí. Năm 1897, J.J. Thomson đã phát hiện ra electron, cách mạng hóa mọi thứ được biết đến về nguyên tử vào thời điểm đó. Trước đây, chúng không được biết là có các phần phụ.