Các nhà sinh học tiến hóa tin rằng sói xám xuất hiện cách đây khoảng 800.000 năm trong kỷ nguyên Pleistocen. Những con sói hiện đại ở châu Âu và Bắc Mỹ được cho là có nguồn gốc từ một phân loài xuất hiện cách đây khoảng 150.000 năm.
Sói xám là tổ tiên của loài chó nhà. Nó cũng có quan hệ họ hàng gần với sói phương đông, sói đỏ, chó sói rừng và chó rừng vàng và có thể tạo ra những con lai có khả năng sinh sản với bất kỳ loài nào trong số này. Sói xám có phạm vi rộng nhất trong số các loài canid và là loài duy nhất được tìm thấy ở cả Thế giới cũ và Tân thế giới. Chúng đã bị tiêu diệt khỏi phần lớn Bắc Mỹ vào đầu những năm 1960 nhưng đã được đưa trở lại thành công ở vùng Hồ Lớn và các vùng của Washington, Oregon, Idaho và Montana.