Carbon được phát hiện lần đầu tiên vào thời tiền sử dưới dạng than. Nó được công nhận là một nguyên tố vào thế kỷ 17, sau khi Robert Boyle phân loại một nguyên tố là chất không thể phân hủy thành các chất đơn giản hơn.
Carbon được đặt tên bởi nhà khoa học người Pháp Antoine Lavoisier khi ông thực hiện nhiều thí nghiệm để phát hiện ra các đặc tính của nó. Trong một thí nghiệm của mình, Lavoisier đã sử dụng kính lúp để tập trung tia nắng mặt trời vào một viên kim cương và thấy viên kim cương bốc cháy và biến mất. Ông nhận thấy kim cương kết hợp với oxy để tạo thành carbon dioxide, dẫn đến kết luận rằng kim cương và than đều được làm từ carbon.
Năm 1770, Carl Wilhelm Scheele đã chỉ ra rằng than chì cũng bị đốt cháy để tạo thành carbon dioxide và do đó phát hiện ra một dạng carbon khác. Một dạng khác của carbon, fullerene, được Robert Curl, Harry Kroto và Richard Smalley phát hiện vào năm 1985. Fullerene còn được gọi là "buckminsterfullerene", vì các phân tử của nó giống với các mái vòm trắc địa do kiến trúc sư Buckminster Fuller thiết kế cho Hội chợ Thế giới năm 1967. Dạng cacbon được phát hiện gần đây nhất là graphene, bao gồm một lớp nguyên tử cacbon đơn lẻ được sắp xếp theo hình lục giác. Graphene được Kostya Novoselov và Andre Geim phát hiện vào năm 2004, họ đã sử dụng băng dính để tách một lớp nguyên tử ra khỏi than chì để tạo ra dạng carbon này.