Pustelnik używa swoich muszli, aby ukryć się przed drapieżnikami, takimi jak mewy, większe kraby, morskie gwiazdy i ślimaki. Zwierzęta te są najbardziej narażone na ataki, gdy opuszczają jedną skorupę na inną, co muszą zrobić jako rosną, ponieważ ich muszle nie rosną razem z nimi. Jednak niektóre drapieżniki mogą albo przegryźć twardą skorupę, albo wyciągnąć kraba i zjeść.
Ryby, takie jak strzelnice i lwica, zaliczają się do drapieżników z kraba pustelnika, ale te kraby nie są bezpieczne, gdy opuszczą wodę. Ptaki, takie jak wrony i zwierzęta lądowe, takie jak szopy, również polują na te małe zwierzęta. Pustelniki używają skorup do ochrony, a według Scientific American mogą wydrążać zbyt małe muszle, aby umożliwić więcej miejsca. Jednak te wydrążone muszle są łatwiejsze do zmiażdżenia przez drapieżników.
Według Smithsonian Magazine, kraby pustelnika mogą być również kanibalizowane przez swój własny rodzaj. Naukowcy wykazali, że te zwierzęta, zamiast być odrzucane przez zapach martwych innych pustelników, są przyciągane przez ten zapach. Zagraża to drapieżnictwem tego samego zwierzęcia, które zabiło kraba, który uwolnił zapach, ale może również skończyć się dostawaniem odpadków do spożycia w zamian za ryzyko.
