这个成语出自《世说新语·文学》：“殷中军（浩）云：‘康伯未得我牙后慧’”。
东晋时候，有一个名叫殷浩的人。因为他曾经当过“中军”的官职，所以被人称为“殷中军”。他曾被任命为“建武将军”，统领扬州、豫州、徐州、兖州、青州的兵马，后因作战失败被罢官，并流放到信安（今浙江省境内）。
殷浩很有学问，他爱好《老子》、《易经》，并能引经据典谈得头头是道。
殷浩有个外甥，姓韩，名康伯，非常聪明，也善于谈吐，殷浩很喜欢他，但对他的要求却十分严格。殷浩被流放时，康伯也随同前往。有一次，殷浩见他正在对别人发表言论，仔细一听，康伯所讲的，完全是抄袭自己的片言只语，套用自己说过的话，没有他个人的创见，却露出自鸣得意的样子，很不高兴，说：“康伯连我牙齿后面的污垢还没有得到，就自以为了不起，真不应该。”
后人根据这个故事，引申出“拾人牙慧”这个成语，比喻抄袭或改头换面地套用别人说过的话或写的文章。