Podstawową definicją związku nieorganicznego jest jakakolwiek substancja, w której łączą się dwa lub więcej pierwiastków, inne niż węgiel. Związki zawierające węgiel zazwyczaj są klasyfikowane jako organiczne, z wyjątkiem węglików, węglanów i cyjanków, czyniąc rozróżnienie między związkami organicznymi i nieorganicznymi nieco mętnymi w niektórych sytuacjach.
Międzynarodowa Unia Chemii Czystej i Stosowanej ustala definicje terminów chemicznych. Pomimo tego, że zadanie to zostało powierzone, Unia musi jeszcze zdefiniować pojęcia "związki nieorganiczne" lub "związki organiczne". Niektóre dyscypliny naukowe określają związki nieorganiczne jako nieożywione i organiczne jako żywe. Woda jest doskonałym przykładem związku nieorganicznego.