Ulubionym hobby Andrew Jacksona były wyścigi konne i hodowla koni. Przez całe życie posiadał wiele koni wyścigowych i często jeździł na nich w wyścigach przed i po oblężeniu. Podniósł także gamecocks i wszedł do swoich ptaków w walkach kogutów wokół Nashville.
Andrew Jackson również uwielbiał dobry praktyczny żart. Podczas studiów prawniczych w Salisbury, w Północnej Karolinie, Jackson został wybrany do zarządzania coroczną piłką Bożonarodzeniową, corocznym wydarzeniem o wielkim znaczeniu w małym miasteczku w Północnej Karolinie. Jako żart, zaprosił dwie prostytutki do piłki, choć niewielu z nich uznało ten gest za zabawny jak Jackson.
Był zagorzałym czytelnikiem gazet i powieści. Jego ulubioną książką był "Vicar of Wakefield" Olivera Goldsmitha. Andrew Jackson utrzymywał dużą kolekcję rur z całego świata, ale rzadko palił tylko swoją rurkę z kukurydzy. Twierdził, że smakuje on bardziej niż zwykłe fantastyczne fajki kresowe, które zdobył, gdy osiągnął międzynarodowy rozgłos.
Zawód Jacksona był polityką, ale można go było również zaliczyć do jednego z jego głównych zainteresowań. Po odejściu z prezydentury w 1836 r. Pozostawał bardzo aktywny politycznie ze swojego domu w Nashville. Odgrywał główną rolę w wyborach Martin Van Buren i James K. Polk w Białym Domu przed śmiercią w 1845 roku.
