要了解节度使制度，首先要了解什么是“节”。
最早的“节”是指旄节,也叫符节,以竹为竿,上缀以旄牛尾,是使者所持的信物(即凭证)。古代使臣奉命出行，必执符节以为凭证。比如《史记·张释之冯唐列传》：“是日令冯唐持节赦魏尚，復以为云中守。”
汉武帝时苏武奉命出使匈奴，被匈奴扣留，发配到贝加尔湖放羊。苏武在牧羊时都舍不得把代表汉朝使节身份的“节”抛弃，一直拿在手里，按照他对节的尊重，当放羊鞭是万万不可能的。
到了汉末及魏晋南北朝时期，掌管地方军政的长官往往加使持节、持节或假节的称号。使持节得诛杀中级以下官吏；持节得杀无官职的人；假节得杀犯军令者。
需要指出的是汉朝的节没有特别区分层级，无论是“假节”、“持节”还是“使持节”、乃至“假节钺（或“假黄钺”）”，都是同等地位，表示代表皇帝不分大小。
到了晋代，完善了这个制度，开始区分层级。“假节”、“持节”和“使持节”、“假节钺（或“假黄钺”）”代表不同的权力层级。
层级简略如下：
（一）假节：平时没有权利处置人，战时可斩杀犯军令的人。
（二）持节：平时可杀无官位之人，战时可斩杀二千石以下官员。
（三）使持节：平时及战时皆可斩杀二千石以下官员。
（四）假节钺（或假黄钺）：可杀节将（含假节、持节、使持节）。
钺为斧钺，一种刑具，即：「大刑用甲兵，其次用斧钺。」是专属于君主的刑具，偶尔暂借人臣，所以称为「假」节钺而不为「持」节钺。诸葛亮被「授之以旄钺之重，付之以专命之权」及「亲秉旄钺以历三军」，指的就是假节钺。
持节都督镇守一方，也是后来割据地方的「节度使」之前身。节度一词出现甚早，意为节制调度。
“节度使”真正成为官名是在唐代。
唐代节度使源于魏晋以来的持节都督，北周及隋改称总管，唐代称都督。贞观以后，内地都督府多有取消，为了打仗需要，军事活动频繁的地区尚存，以统州、县、镇戍。镇戍是经常性的防御据点，比较分散，兵力单弱，故每遇战事发生，必须由朝廷派遣行军总管统率出征或备御。规模较大的战役，又设置行军元帅或行军大总管统领诸总管。
唐高宗、武后时期，为了加强防御力量和改变临时征调的困难，这类屯戍军设置愈多，并逐渐制度化，形成有固定驻地和较大兵力的军、镇、守捉，各自置使。行军大总管也逐渐演变成统率诸军、镇的大军区军事长官，于是长驻专任的节度使应时出现。
节度使成为正式的官职是在唐睿宗景云二年（711年），贺拔延嗣为凉州都督充河西节度使。
至唐玄宗开元年间，又设立了碛西、北庭、河西、陇右、朔方、河东、范阳、平卢、剑南、岭南十个节度使，范阳（北京地区，即古幽州）节度使是节度使中兵力最大的。
此时的节度使多由胡人担任，一般封郡王。朝廷任命节度使，要授予其双旌双节，“得以军事专杀，行则建节，府树六纛”。权势极大，极其牛皮。
需要指出的是节度使初置时，作为军事统帅，主要掌管军事、防御外敌，而没有管理州县民政的职责，后来渐渐总揽一区的军、民、财、政，所辖区内各州刺史均为其节制，并兼任驻在州之刺史。
安史之乱后，国中遍置节度使，多为安史之乱的叛将和平叛战事中崛起的军阀。各统一道或数州，军事民政、人事、征税等皆得独立；而且父死子继，自以世袭，或者以节度留后的名义发号施令。朝廷无力讨伐，默认其地位，世称藩镇。藩镇制度是导致唐朝灭亡的重要原因之一。
五代时期，节度使的权势达到了极点，以至于皇帝的废立都取决于节度使们。后梁、后唐、后晋、后汉、后周的开国君主均都是出身于节度使。
北宋建立后，宋太祖赵匡胤鉴于唐末五代时期节度使割据一方，搞独立王国的教训，对各节度使采取了用金钱田地换取兵权的做法，史称“杯酒释兵权”。用温和的方式把兵权从军头手里收回，然后派遣文臣知军州事，限制了节度使节制郡县的权力；又以转运使接管了节度使的财政权利；将地方上强壮的士兵编入禁军。凡此种种，节度使权力基本被架空。之后，节度使一般作为宰相卸任之后的荣誉职务，称“某某军节度使、同中书门下平章事”，便是所谓的“使相”，同时也用于武臣的加官。
南宋时，有加至三镇者，就是说名义上兼任了三个地方的节度使，如护国、宁武、保静军节度使刘光世、静江、宁武、靖海军节度使张俊、镇南、武安、宁国军节度使韩世忠等。
辽、金都仿唐制置节度使，但此节度非彼节度，往往有名无实，地位也远不如宋朝的使相高。
到了元朝，蒙古人直接废除了节度使制度，由此这一官衔退出了历史舞台。
