Grafit jest używany w ołówkach ze względu na możliwość pozostawienia szarych śladów na papierze. Pierwotnie uważano, że jest formą ołowiu.
Mimo nazwy ołówki ołówkowe w rzeczywistości nie zawierają ołowiu. Podczas Cesarstwa Rzymskiego pręty prowadzące były używane do pisania na papirusie. W XVI wieku w Anglii odkryto duże złoża grafitu; wkrótce po tym odkryciu grafit stał się powszechnie używanym materiałem do pisania. Pierwotnie uważano, że jest ciemniejszą formą ołowiu i dlatego nadano mu nazwę "Blacklead" lub "plumbagoi".
Pod koniec XVIII wieku szwedzki chemik ustalił, że grafit jest raczej węglem niż ołówem. Nazwa substancji została wkrótce zmieniona na grafit, po greckiej nazwie "pisać".
Atrament był powszechnie używany do pisania - zastosowano go za pomocą urządzenia zwanego "peniculus" - z którego wywodzi się słowo "ołówek". Wczesne formy ołówków obejmowały grafitowy pręt owinięty sznurkiem i wstawiony w puste drążki. Ostatecznie opracowano mieszaninę grafitu i gliny, która wyeliminowała potrzebę stosowania sznurka i wytworzyła twardszą substancję, którą można łatwo włożyć do pustych prętów. Zmiana stosunku grafitu do gliny powoduje zmiany w ciemności oznakowań wykonanych ołówkiem. Dodawanie innych materiałów, takich jak barwnik, wosk, woda lub węgiel drzewny może produkować ołówki używane do innych celów, w tym kosmetyków i sztuki.
