裴行俭出身于古代一个盛名久著的世家大族——河东裴氏，他的父亲是隋朝名将裴仁基。裴行俭出生时正好赶上隋唐更替的武德元年（公元619年）。当时他的父亲刚在一场失败的政变中被杀，但对于裴氏这种根深蒂固的门阀士族来说，只要“河东裴氏”的名号仍在，家族子弟想要出人头地并不是什么难事。
虽然失去父亲的庇护，但裴行俭还是依靠祖荫成为弘文生（弘文馆为唐朝国家藏书馆及高干子弟专修学校），后来在唐太宗贞观年间通过明经科考正式步入仕途，被任命为左屯卫仓曹参军。裴行俭才思敏捷，办事干练，因此在担任仓曹参军期间得到上司苏定方的赏识。苏定方对裴行俭说：“吾用兵，世无可教者，今子也贤。”于是收裴行俭为门生，并将自己的用兵之法悉数传授。
唐高宗显庆二年（公元657年），裴行俭升任长安令（相当于今北京的区长）。后来唐高宗想要废掉王皇后，改立武则天。裴行俭认为国家忧患必从这里开始，于是和太尉长孙无忌、尚书左仆射褚遂良等人商议如何阻止。结果计划没成功，裴行俭因站错队而被赶出京师，贬为西州都督府长史。然而正所谓“福兮祸所依，祸兮福所依”，这次贬官经历却开启了裴行俭的传奇人生。
裴行俭在西州期间表现突出，各项政绩考评都达到优秀标准。麟德二年（665年），裴行俭升任安西大都护，成为唐朝管理西域地区的主官。当时唐王朝国威日隆，裴行俭在当地又广施仁政得到了西域各国的一致认可，因此周边的小邦小国纷纷归附唐朝。裴行俭因功被调回京师任司文少卿，不久改任吏部侍郎。
上元三年（676年），吐蕃入侵。当时苏定方已经去世，于是朝廷便任命尽得苏定方真传的裴行俭为洮州道左二军总管（后改任秦州右军总管）坐镇西域。
调露元年（679年），突厥可汗阿史那都支与李遮匐（原名阿史那遮匐）叛唐。唐高宗大怒决定兴兵讨伐，裴行俭认为这些叛唐的突厥人勇猛有余，智谋不足，于是向高宗提议智取。
裴行俭借护送波斯王子回国继承王位的名义来到西域。阿史那都支与李遮匐看到唐朝并未派出军队，因此就不设提防。结果裴行俭设计轻松拿下了阿史那都支，再派精锐骑兵轻装简从突袭李遮匐，并一举将其擒获。
裴行俭带着俘虏返回京师，唐高宗亲自设宴犒劳，他对众臣们说道：“行俭提孤军，深入万里，兵不血刃而叛党擒夷，可谓文武兼备矣，其兼授二职。”于是裴行俭升任礼部尚书兼检校右卫大将军。
裴行俭智擒阿史那都支、李遮匐后不久，另两位突厥首领阿史德温傅、阿史那奉职也率部反唐，叛军人数达到了数十万之众。唐高宗任命裴行俭为定襄道行军大总管，率三十万大军前往平叛。这一次，裴行俭将自己的军事能力发挥到了极致，他用兵如神，虚实不定，很快就将突厥打得心惊胆战，不知道唐军哪次来真的，哪次是虚张声势。仅过了几个月时间，裴行俭就成功平定了这次突厥叛乱，成功捍卫唐朝北疆的安全。
永淳元年（682年），又有一股突厥势力叛唐。唐高宗任裴行俭为金牙道行军大总管领兵出征。然而这一次裴行俭还未出师便身染重疾，四月二十八日在长安家中病逝，享年六十四岁。
裴行俭不仅军事能力突出，而且他还精通阴阳历法，擅长草书、隶书，是一位多才多艺的全方位人才，《旧唐书》中高度赞誉裴行俭为“王者之兵，儒者之将”。值得一提的是，热门手游《王者荣耀》中的百里守约人物原型就是裴行俭（裴行俭字“守约”），而他的恩师苏定方则正是《王者荣耀》中的苏烈（苏定方，名烈，字定方）。
