Węgiel po raz pierwszy odkryto w czasach prehistorycznych jako węgiel drzewny. Został rozpoznany jako element w XVII wieku, po tym, jak Robert Boyle sklasyfikował pierwiastek jako substancję, której nie można było rozłożyć na prostsze substancje.
Carbon został nazwany przez francuskiego naukowca Antoine'a Lavoisiera, gdy przeprowadzał wiele eksperymentów, aby ujawnić jego właściwości. W jednym ze swoich eksperymentów Lavoisier użył szkła powiększającego, by skupić promienie słoneczne na diamentach i zobaczył, że diament płonie i znika. Zauważył, że diament w połączeniu z tlenem tworzy dwutlenek węgla, co doprowadziło go do wniosku, że diament i węgiel były wykonane z węgla.
W roku 1770 Carl Wilhelm Scheele pokazał, że grafit również spłonął, tworząc dwutlenek węgla i tym samym odkrył inną formę węgla. Jeszcze inna forma węgla, fuleren, została odkryta w 1985 roku przez Roberta Curla, Harry'ego Kroto i Richarda Smalleya. Fullerene był również nazywany "buckminsterfullerene", ponieważ jego molekuły przypominały kopuły geodezyjne zaprojektowane przez architekta Buckminstera Fullera na Światowe Targi w 1967 roku. Ostatnio odkrytą formą węgla jest grafen, który składa się z pojedynczej warstwy atomów węgla ułożonych w sześciokąty. Grafen został odkryty w 2004 roku przez Kostyę Novoselov i Andrzeja Geima, którzy za pomocą taśmy klejącej oderwali pojedynczą warstwę atomową od grafitu w celu wytworzenia tej formy węgla.