由于演义的关系，秦琼在隋唐名将中的知名度非常高，而他也确实如很多人印象中是一个勇冠三军的人物。早年的秦琼曾是隋将来护儿的部将，当时秦琼的母亲逝世，来护儿还特地派人去吊唁，手下军吏不解便问了来护儿，他是这样回答的：“此人勇悍，加有志节，必当自取富贵，岂得以卑贱处之。”
隋末天下大乱之际，秦琼投靠隋将张须陀，当时张须陀和卢明月对峙下邳，张明显处于劣势。为了能够顺利撤退，张须陀想出用一部分人马偷袭卢明月大营的计谋。计谋是有了，但却没有人主动请缨，这时候秦琼便站了出来。
偷袭卢明月大营让秦琼一战成名，当时他带领1000名军士直奔敌军大营而去，手下兵士以一当十，杀得留守的军士片甲不留。卢明月回防之时，大营已经一片狼藉，四处皆是火光。张须陀见此便抄起家伙就反击，形势在一瞬间被扭转。
后杨玄感起兵叛隋，张须陀前往讨伐，不料中了李密的计谋，兵败身死。秦琼见张须陀没了，便率部投在张须陀的手下裴仁基的部队中，之后又随裴仁基投降李密。李密虽然厚爱于秦琼，不料他并非能够结束乱世的英主，后来的秦琼又被王世充收得，最后才和程咬金等人投入李世民麾下，后随李世民东征西讨，平定天下。
贞观十七年(643年)，李世民感念当初和自己一同打天下的功臣，便命人在凌烟阁内描绘了二十四位功臣的图像，这就是非常有名的《二十四功臣图》。凌烟阁分三层，最内一层画的是功勋最高的宰辅之臣，中间则为功高王侯之臣，其他功臣都在最外一层。
让很多人惊讶的是，秦琼不仅没能排在凌烟阁最内层，还位居二十四功臣的末位，隋末唐初名将（包括程咬金、罗士信、尉迟敬德等人）中，只有秦琼得到过“上柱国”（自春秋起为军事武装的高级统帅）的称号。
正史并没有对此作出解释，但想来无论武功还是品行，秦琼都不下于尉迟敬德，所以唯一的原因恐怕还是因为秦琼没参加玄武门事变，而尉迟敬德可是玄武门事变的第一功臣。或许就是因为这件事情让李世民对他的信任大打折扣了吧。