Nie ma konkretnej osoby, która została zidentyfikowana jako wynalazca ksylofonu. Ksylofony wywodzą się z wymyślonych w Azji i Afryce. Niewiele wskazuje na to, że instrument pochodził z Indonezji; jednak większość ekspertów lekceważy dowody.
Ksylofon wywodzi się z IX wieku w Azji Południowo-Wschodniej. Choć ksylofon istnieje od tysięcy lat, jego pierwsze wejście do słownika miało miejsce w XIX wieku. W języku greckim ksylofon oznacza "drewniany dźwięk". Niektóre nowoczesne ksylofony mają metalowe pręty uderzane młotkiem, który wytwarza dźwięk. Starożytne wersje zostały wykonane z drewna.
