Pharell Williams có bốn anh em: Cato, Psolomon, Pharaoh và David. Pharaoh Williams III và David Williams là anh em cùng cha khác mẹ với Vanessa T. Williams. Cato, Psolomon và Pharell đều có cùng cha và mẹ, Pharaoh Williams và Carolyn Williams.
Cato Williams là vận động viên trượt ván chuyên nghiệp, trong khi David Williams là nhân viên bán hàng ở Delaware. Pharell là con trai cả; anh hơn Cato 10 tuổi và hơn Psolomon 20 tuổi. Ông lớn lên với các anh trai của mình ở Virginia Beach, Virginia. Pharell Williams đã kết hôn với Helen Lasichanh và cặp đôi có một con trai, Rocket Williams.