Các địa hình chính của Nhật Bản bao gồm núi, đồng bằng và núi lửa. Phần lớn Nhật Bản được tạo thành từ các đảo - có hàng nghìn hòn đảo tạo nên đất nước. Đảo chính là Honshu, dài 810 dặm, chủ yếu là núi và núi lửa. Shikoku là một trong bốn hòn đảo lớn, nhưng lại có ít dân cư nhất.
Các địa hình núi chạy qua phần lớn Nhật Bản. Những ngọn núi tự hào với những thung lũng sâu, những sườn núi và chân đồi rợp bóng cây. Các thung lũng sâu nằm ở phía Thái Bình Dương của đất nước, trong khi chân đồi ở phía bên kia, nơi có Biển Nhật Bản. Các ngọn núi có nhiều độ cao khác nhau, lên đến 9.800 feet.
Độ cao cao nhất ở Nhật Bản là Núi Phú Sĩ, là ngọn núi lửa không hoạt động lớn của Nhật Bản. Núi Phú Sĩ có độ cao 12.388 feet và nằm về phía tây nam của Tokyo.
Các đồng bằng của Nhật Bản nằm dọc theo các khu vực ven biển ở cả phía Thái Bình Dương và phía Biển Nhật Bản của các dãy núi. Hầu hết dân số ở Nhật Bản cư trú trong các cộng đồng ven biển này. Trong nước cũng có nhiều con sông ở nhiều địa điểm khác nhau, nhưng con sông dài nhất là sông Shinano. Hầu hết các con sông khác đều rất ngắn và chạy từ vùng núi đến các khu vực ven biển.