Tiểu bang có hai địa hình lớn nhất của New York là Dãy núi Adirondack và Catskill, cùng bao phủ một phần ba diện tích toàn tiểu bang. Dãy núi Adirondack tạo thành địa hình lớn hơn trong hai dãy núi, và chúng cao tới 5.344 feet ở đỉnh của chúng. New York cũng có nhiều hồ, bao gồm Hồ Champlain, Hồ George và Hồ Oneida.
Nhiều ngọn núi của New York là một phần của dãy núi Appalachian, kéo dài đến các bang Vermont và New Hampshire cũng như vào khu vực phía nam của Canada. Các hồ đáng chú ý khác ở New York bao gồm Hồ Erie và Hồ Ontario, hai trong số các Hồ Lớn, cũng có biên giới với Canada về phía bắc. Tiểu bang New York cũng có nhiều thung lũng, rừng và đồi núi trập trùng, cũng như sông, thác nước và bãi biển khắp tiểu bang. Các con sông quan trọng bao gồm sông Genesee, Hudson, Delaware và Mohawk.
New York cũng là nơi mà nhiều người coi là một trong những thác nước lớn nhất thế giới, Thác Niagara. Địa hình chính này nằm trên biên giới giữa Hoa Kỳ và Canada và là thác nước mạnh nhất ở Bắc Mỹ. Nhiều địa hình của New York là những điểm thu hút khách du lịch chính và thu hút vô số du khách đến thăm bang này mỗi năm.