Không có người cụ thể nào được xác định là người phát minh ra xylophone. Xylophone có thể được bắt nguồn từ việc được phát minh ở cả Châu Á và Châu Phi. Một ít bằng chứng cho thấy nhạc cụ có nguồn gốc từ Indonesia; tuy nhiên, hầu hết các chuyên gia đều bỏ qua bằng chứng.
Tiếng kèn xylophone được bắt nguồn từ thế kỷ thứ 9 ở Đông Nam Á. Mặc dù xylophone đã có từ hàng nghìn năm trước, nhưng lần đầu tiên nó được đưa vào từ điển là vào thế kỷ 19. Trong tiếng Hy Lạp, xylophone có nghĩa là "âm thanh bằng gỗ." Một số xylophone hiện đại có các thanh kim loại được đập bằng vồ để tạo ra âm thanh. Tuy nhiên, các phiên bản cổ được làm bằng gỗ.
