Najlepsze rodzaje skał do użytku w ogrodnictwie skalnym to te, które występują w przyrodzie, szczególnie w okolicy ogrodnika. Zwietrzałe lub postarzone skały lepiej działają w ogrodzie skalnym niż świeżo ścięte kamienie kamieniołom. Twardsze, bardziej wytrzymałe skały, takie jak granit i łupek, stanowią lepszy wybór niż miękkie, porowate skały, takie jak wapień i łupek.
Jeśli ogrodnik buduje ogród skalny we wschodniej Kalifornii lub zachodniej Nevadzie, najbardziej popularną skałą jest zdecydowanie granit. Korzystanie z dużych granitów w ogrodzie skalnym daje wrażenie wizualnej ciągłości ogrodu, jednocześnie pomagając mu wtopić się w otaczający krajobraz. W tej części kraju istnieją duże szanse na duże granity.
Jeśli jednak ogrodnik mieszka na południowym zachodzie i chce zbudować ogród skalny, kamieniem z wyboru jest piaskowiec lub arkoza. Piaskowiec jest głównie opalony lub pomarańczowy, podczas gdy arkoza jest zazwyczaj brązowa z małymi, różowymi inkluzjami minerału zwanego skaleniem. Chociaż piaskowiec jest bardziej miękki niż granit, dość dobrze zachowuje się pod wpływem wietrzenia. Metamorficzny piaskowiec, zwany kwarcytem, tworzy atrakcyjny kamień skalny, ponieważ ma ten sam kolor co piaskowiec, a jednocześnie jest znacznie twardszy i trwalszy.