他做过舒县的县令（就是大乔小乔被俘的地方），舒县归庐江郡管辖，当时的庐江太守是张磐，跟陶谦的父亲是好友，但陶谦却瞧不起他，绝不以私事跟张磐见面，有一次，张磐邀他饮宴，席间张磐让陶谦起舞，陶谦被逼的没有办法，也只是随意的比划了几下。

张磐问他“此舞是否不转？”

陶谦语气傲慢的说“吾不可转，转则胜人。”

张磐大为不悦，从此两人有了嫌隙，后来张磐想找陶谦的过错，想整他一顿，可陶谦为官清廉，很难寻到把柄，后来陶谦干脆弃官不做，潇洒离开。

之后，陶谦做过幽州刺史，随着皇甫嵩平叛过西羌，讨伐过边张韩遂，屡立战功，深得重用。

可是，他傲慢的脾气始终没有收敛，在一次庆功宴会上，狠狠的把司空张温给羞辱了一顿。

性情温和的张温，实在忍受不住，就上奏朝廷，把陶谦给流放了，后来被众人苦劝，多番替陶谦求情，张温才同意把陶谦调回。

回来之后，百官纷纷劝说陶谦，让他给张温当面道个歉，可陶谦依旧不把张温放在眼里，见了张温，依旧很傲慢“谦自谢朝廷，岂是为公！”

言外之意，是朝廷赦免了我，我只感激朝廷，不欠你任何恩情。

之后，陶谦奉命去徐州征讨黄巾，陶谦才敢出众，很有韬略，上任之后，很快就平定了在徐州作乱的黄巾，同样是对对黄巾，陶谦跟孔融相比，简直是天壤之别。