Không ai biết chính xác ai là người phát minh ra những chiếc yên ngựa đầu tiên, nhưng chúng đã được sử dụng cách đây hơn 4.000 năm. Những chiếc yên ngựa rất đơn giản và thường được làm từ các mảnh vải hoặc da động vật, dùng như một bộ đệm giữa người cưỡi ngựa và con ngựa.
Vào khoảng năm 700 trước Công nguyên, các chiến binh Assyria ở Trung Đông đã tạo ra những chiếc yên ngựa với thiết kế phức tạp hơn với dây đai giống như chu vi. Vào khoảng năm 500 trước Công nguyên, những người du mục ở Siberia đã cải tiến thiết kế và làm yên ngựa từ da, tóc, nỉ và vàng, và một số trong số họ có đệm và trang bị kiềng bằng da. Vào năm 200 trước Công nguyên, những người kỵ mã châu Á đã tạo ra một chiếc yên ngựa để giữ trọng lượng của người cưỡi khỏi đốt sống của con ngựa để con vật thoải mái và giữ cho con vật phục vụ lâu hơn.
