Elijah Fox groeide op in Durham, North Carolina, en leerde piano spelen op zijn elfde via een advertentie in de lokale krant voor een jazzjamsessie. Daar ontmoette hij Yusuf Salim, een pianist die nog met Charlie Parker had gespeeld.