Pharell Williams ma czterech braci: Cato, Psolomona, faraona i Davida. Faraon Williams III i David Williams są jego przyrodnimi braćmi od pierwszego małżeństwa swojego ojca z Vanessą T. Williams. Cato, Psolomon i Pharell mają tego samego ojca i matkę, Faraona Williamsa i Carolyn Williams.
Cato Williams jest zawodowym skateboarderem, a David Williams jest sprzedawcą w Delaware. Pharell jest najstarszym synem; on jest 10 lat starszy od Cato i 20 lat starszy od Psolomona. Dorastał ze swoimi braćmi w Virginia Beach w Wirginii. Pharell Williams jest żonaty z Helen Lasichanh, a para ma jednego syna, Rocket Williams.
