Các đặc điểm vật lý chính của Nhật Bản là các dãy núi, núi lửa và rừng rậm. Đất nước này có ít đồng bằng, chủ yếu nằm quanh bờ biển, một số ít hồ và một số sông ngắn.
Khoảng 80% diện tích Nhật Bản là núi với cả núi lửa không hoạt động và đang hoạt động. Dãy núi Alps của Nhật Bản, nằm trên đảo Honshu, là những ngọn núi khổng lồ cao từ 8.000 đến 10.500 feet. Ngọn núi cao nhất của Nhật Bản nằm gần Tokyo. Hình nón núi lửa này, được gọi là Fujiyama, cao tới 12.389 feet. Núi lửa là một đặc điểm quan trọng của Nhật Bản. Có 192 núi lửa trên các hòn đảo tạo nên Nhật Bản, chỉ 50 trong số đó được coi là đang hoạt động.
Một đặc điểm vật lý nổi bật khác là Đồng bằng Kanto. Mặc dù chỉ có 20% diện tích Nhật Bản là bằng phẳng, nhưng Đồng bằng Kanto lại rộng lớn. Đây là nơi tọa lạc của Tokyo. Một số ít đồng bằng rất quan trọng vì đây là nơi sinh sống của phần lớn dân số và là nơi diễn ra hoạt động trồng trọt và sản xuất.
Mặc dù có ít hồ, hồ lớn nhất là hồ Biwa. Nó nằm trên Honshu và rộng 265 dặm vuông. Một vùng nước quan trọng khác là Biển nội địa, nằm giữa ba hòn đảo của Nhật Bản: Shikoku, Kyushu và Honshu. Có rất nhiều con sông ở Nhật Bản, nhưng không con sông nào có thể đi bằng thuyền. Tuy nhiên, những con sông này là nguồn cung cấp thủy lợi và thủy điện quan trọng. Con sông dài nhất là Shinano, và nó dài 230 dặm.