Ołówki zostały wynalezione w 1795 roku przez francuskiego naukowca Nicolas-Jacques Conte. Użył mieszaniny grafitu, gliny i wody wypalanej w piecu, by stworzyć "ołów" ołówka. Następnie umieścił tę mieszaninę w drewnianej ramie do pisania.
Conte stworzył kilka różnych rodzajów ołówków w zależności od ich przeznaczenia. Robił okrągłe ołówki dla artystów, którzy rysowali przez dłuższy czas i potrzebowali wygody. Tworzył kwadratowe lub wielokątne kredki dla rysowników lub stolarzy, aby ołówki nie odsuwały się.
Pomimo, że środek ołówka od dawna nazywany jest ołówkiem, ołówki nigdy nie były wykonane z ołowiu. Zawsze składały się z grafitu. Mylne określenie nastąpiło, gdy grafit został po raz pierwszy odkryty w XV wieku i mylony z formą ołowiu.