这句成语见于《汉书·董仲舒传》：“窃譬之琴瑟不调，甚者必解而更张之，乃可鼓也。”又见南朝·宋·何承天《上邪篇》：“琴瑟时未调，改弦当更张。”下面故事从《汉书》。
西汉时，有一位著名的哲学家、今文经学大师叫董仲舒，广州（今河北枣强东）人。他学习非常用功，整天埋头在书房里学习，书房附近的园圃，两三年都顾不上看一看。后来，他专治《春秋公羊传》，曾任博士、江都相和胶西王相。
当时，汉武帝刘彻举贤良文学之士，请他们对施政方针提出建议。董仲舒说：汉朝继秦而立，秦朝的旧制度都不适用了。好比琴上的弦已经陈旧不堪，没法使音调和谐了，必须把它解下来，更换新弦，然后才可弹奏。政策制度也是如此。行不通了，就要改革，然后才能把事情办好。应当更换琴弦而不换，就是第一流的音乐家也弹不出优美的音调来；应当改革而不改，就是最贤明的政治家也不能创造令人满意的政绩。
……董仲舒还向汉武帝建议：“诸不在六艺（即《礼》《乐》、《诗》、《书》、《易》、《春秋》六经）之科，孔子之术者，皆绝其道，勿使并进。”这些，都为汉武帝所采纳，开此后两千余年封建社会以儒学为正统的先声。
“改弦更张”这句成语，常用来比喻变更方针、计划或办法。