早在远古时期，准格尔旗就有古人类活动的足迹。考古学家在准格尔旗纳林川畔和黄河沿岸发现了不少旧石器早期的石器遗存。证明在旧石器时期，准格尔旗地区已有了古人类活动。他们在这里生活繁衍，过着以狩猎为主、采集为辅的群体生活。
新石器时期（距今七千年前至四千年前），仰韶文化人群先后从陕西、河南等迁入鄂尔多斯地区垦荒种田，把这里辟为农业区。这一时期的人类遗存遍布鄂尔多斯高原，准格尔旗就有坟玛、窑子粱、官地、阳湾、贺家沙背、张家圪旦等遗址。到了龙山文化晚期阶段（距今四千多年前），岱海老虎山文化后裔在鄂尔多斯落户，同时晋南、关中地区同期文化人群及后来的青海、甘肃地区齐家文化人群东进也来到鄂尔多斯地区。当时鄂尔多斯高原的生态环境正由森林草原向草原环境演变，气候逐渐变冷，促使农业经济向半农业经济发展。这一时期最具代表性的文化遗址准格尔旗有永兴店、二里半、大口。直到距今三千五百年左右，准格尔旗同鄂尔多斯其它地区一样，逐步转变为以畜牧业为主的社会经济状态。
当中原地区进入铜器时代之际（即夏商时期），鄂尔多斯高原也几乎同时有了铜器。铜器的使用，促进了社会经济的发展；自然环境的变化又使游牧经济从农业经济中分离出来。从此，鄂尔多斯就成了游牧人的故乡。当时，高原林草丰茂，森林分布在高原的北部、东部和南部，覆盖度在50%以上。
商周时期，准格尔旗多为北方游牧部落所占据，并同中原地区时有冲突。
战国初期，韩、赵、魏三家分晋，今鄂尔多斯东部的准格尔旗部分地区属魏国上郡辖区。并沿东部黄河10至20公里为界，筑起一道长城以防外侵。魏国被秦国战败后，被迫割让15县求和，其中就包括鄂尔多斯东部（今准格尔旗地区），一并纳入了秦国的版图。秦国为了防止北方少数民族侵扰，便从陇西、北地、上郡的北部直至今准格尔旗的十二连城乡修筑长城，并随长城种植一条榆树林带，时称“榆溪塞”。长城以东为秦国上郡辖区，以西为林胡、楼烦等民族的游牧区。
战国中期，匈奴族崛起，与鄂尔多斯境内林胡、楼烦等部落联盟，形成了一个强大的联盟集团，并乘秦国兼并六国的战争之机，攻入长城之内，占领了整个鄂尔多斯高原及陕西、山西北部部分地区。赵国与匈奴为邻，经常受到匈奴的威胁。赵武灵王时，经过“胡服骑射”的改革，国力大增，于公元前306年攻破林胡、楼烦部落，进入鄂尔多斯高原，并在今托克托县置云中郡，在高原的西北部置九原郡，辖管鄂尔多斯的东北部和西北部，实行军事屯田，发展农业生产，充实边防。公元前234年，秦军大败赵兵，鄂尔多斯高原又属秦所有。接着匈奴人又打过黄河，占领了鄂尔多斯高原。
秦始皇统一中国后，在鄂尔多斯地区设立郡县，准格尔旗东部、北部分别属云中郡、九原郡；西南部辖美稷县、平定县。在今准格尔旗纳日松镇勿图沟发现的古城，经考证，就是秦王朝所置的上郡属县广衍县城。秦末“诸侯叛秦，中国扰乱，诸秦所徙，戍边者复去”。鄂尔多斯高原又为匈奴冒顿单于复占，划编为右贤王驻牧区。
汉元朔元年（公元前128年），汉武帝发动了漠南之战，派大将卫青击走了驻牧在鄂尔多斯高原上匈奴属部绥颊王和白羊王部，占领了鄂尔多斯高原，在这里设置郡县，准格尔旗大部属云中郡。
隋朝时期，准格尔旗先属榆林郡，后归胜州管辖。据史料记载，开皇三年（583年）置榆林关，七年置松林县，属云州辖。二十年割云州榆林（准格尔旗十二连城古城），富昌（今准格尔旗天顺圪梁古城），金河（今托克托县哈拉板申古城）三县置胜州。大业五年（609年）炀帝改胜州为榆林郡，仍领榆林、富昌、金河三县，户2230，治所榆林县，辖境包括今准格尔旗和呼市的托克托县、和林格尔县的部分地区。大业三年，炀帝北巡，在胜州榆林县（准格尔旗十二连城古城）设宴招待突厥诸部及契丹、奚等各部酋长3500人，胜州因之名扬天下。
唐贞观三年，唐王朝置胜州（隋时的榆林郡）。天宝元年改为榆林郡，乾元元年复称胜州。领榆林（今准格尔旗十二连城古城）、河滨（今准格尔旗天顺圪粱古城）二县。户1187，人口20952，州治榆林县。
在五代十国时期，我国西北地区的一个名叫藏才族（也译作藏察勒族）的小藩部，乘战乱之机，进入今鄂尔多斯高原东部的准格尔旗境内。辽伐西夏时，藏才族首领王承美率部附辽，辽授其左手牛卫将军衔，并助其在今准格尔旗纳日松镇二长渠村筑城建砦。宋开宝二年（969年），王承美归宋，宋赐其城名为丰州。当时，北宋王朝称丰州（准格尔旗纳日松镇二长渠村古城）、府州（今陕西府谷县）、麟州（今陕西神木县北杨家城）为“河外三州”。三州分布为品字形，相互照应，固守北宋的北方门户。所以北宋王朝对丰州城很重视，封王承美为丰州牙内指挥使，后又提升为防御使，子孙世代承袭。1126年，金灭北宋，西夏人趁机占领丰州城，中间一度又被金人抢占，但后又复归西夏。
成吉思汗统一了漠北蒙古各部后，逐步南下，灭了金和西夏，准格尔旗为元王朝所占据。宋元时期，在鄂尔多斯高原东南部有一片以油松、杜松为主要树种的森林区，东北接晋西北地区，向西南到陕西榆林地区。但因气候变化的影响和人为的砍伐及战争破坏，森林逐年弱化，今准格尔旗著名的“油松王”，就是北宋英宗治平年间天然落种而生。
明洪武四年（1371年），明军攻下东胜州（今托克托县古城），置卫，同年元知院都连帖木儿等率众归附，明于东胜卫附近及鄂尔多斯高原东北部置失宝赤、五花城、斡鲁忽奴、燕只、瓮吉刺五千户所，安置蒙古归附人众，隶东胜卫辖。二十五年，又分东胜卫为东胜左、右、中、前、后五卫，次年，罢东胜中、前、后三卫。东胜右卫治所即今准格尔旗十二连城古城。永乐元年（1403年），东胜左、右卫徙至内地。正统三年（1438年）曾再度复置，但不久又废。
明宣德年间（1426—1435年），蒙古诸部势力日渐向南扩展，威胁明朝北部的安全，明朝也开始在北方陆续设置边镇，构筑边墙，其中延绥边墙就筑在鄂尔多斯高原的南部。这道边墙东起今准格尔旗龙口镇大占村紫城岩，西抵宁夏盐池东北，从此成了内蒙古鄂尔多斯市（原伊克昭盟）与陕西省的分界。
清顺治六年（公元1649年），清廷将鄂尔多斯部落分为鄂尔多斯左翼前、中、后和鄂尔多斯右翼前、中、后6个札萨克旗。鄂尔多斯左翼前旗，俗称准格尔旗。至此，准格尔旗初建旗政，由扎萨克总理旗务。
顺治年间，清朝皇帝为加强对鄂尔多斯部落的控驭，将长城以北50里宽，东西约2000里长的地带划为禁地，俗称“黑界地”。明确规定汉族农民不得逾越长城进入鄂尔多斯牧地，鄂尔多斯牧民也不能进入这块禁地，更不能越过长城进入汉族地区，使准格尔旗的南界进一步得到强化。
康熙36年（1697年），清廷准许陕西北部汉民越过长城在“黑界地”里耕种，每年向盟旗王府交租银。到雍正八年（1730年）又准许汉民在长城以北50里以内越界农耕，于是准格尔旗的农田逐步增大，牧地开始缩小。
宣统三年（公元1911年），爱新觉罗溥仪退位后，袁世凯任中华民国临时大总统，并宣布“清廷对待蒙古实行的种种政策继续生效”，所以伊盟的盟旗制度仍继续执行，七旗行政区划没有明显变动。民国元年（1912年），民国北京政府成立，仍袭清制。抗战时期，马占山接受国民政府“警卫伊盟，兼守河防”的命令，率部开进了准格尔旗布军抗战，一直坚持到日本投降后，才率军撤走。
1948年4月，准格尔旗解放，成立准格尔旗临时政务委员会，政府驻地设于沙圪堵。1950年4月，准格尔旗末代扎萨克奇福海回沙圪堵交印，旗政最终统一于人民政府。1955年9月旗人民政府改称旗人民委员会。1968年4月，又改称革命委员会。1981年1月复改称人民政府迄今。1999年8月旗人民政府驻地从沙圪堵迁址薛家湾。
大禹建立国家后，把国家分为九洲，此时的鄂尔多斯为雍州所辖，而鄂尔多斯的西南部则属渠搜国所管。 成汤灭夏后，夏因君主的儿子獯鬻带着眷属逃到渠搜避难，从此之后，鄂尔多斯的西南部被獯鬻所统。商朝建立后，鄂尔多斯西南部被划为鬼分。 商朝灭亡之后，狺狁民族的军事力量日渐强大，威胁着西周的安全，周宣王于公元前827年和822年，分别派大将南仲、尹吉甫两次进攻狺狁，并命令南仲在萨拉乌素河、榆溪河沿线要地筑城设防，历史上被称为朔方城，在今鄂尔多斯东北部置榆中。公元前5世纪末，今鄂尔多斯东部的准格尔旗一带为魏国行政辖区，名上郡。公元前328年，魏被秦战败，魏把上郡割让于秦。此后，秦国杀掉义渠王，在鄂尔多斯西南部的鄂托克前旗、鄂托克旗及其相邻地区设置了北地郡，其余地域为楼烦等游牧部落的聚居区。公元前306年，赵国打败林胡、楼烦，在鄂尔多斯东北部一带设置云中郡、九原郡。战国后期，鄂尔多斯东部地区一直为秦国所有。 公元前221年，秦始皇统一中国，在鄂尔多斯设立郡、县。鄂托克旗、鄂托克前旗一带属北地 郡，准格尔旗、伊金霍洛旗东部一带属云中郡，达拉特旗、准格尔旗北部一带属九原郡，乌审旗、鄂托克前旗、伊金霍洛旗南部一带属北地郡，四郡下辖34个县。此时的鄂尔多斯地区有两个历史称谓，即“新秦中”、“河南地”。 公元前127年，西汉在今鄂尔多斯达拉特旗北部地区设五原郡，郡下设河阴、曼柏、高兴三县；杭锦旗一带设朔方郡，郡下设临戎、沃野、临河、广牧、朔方、呼遒、渠搜等县；准格尔旗北部地区设云中郡，郡下设沙南县；在今准格尔旗东部及东胜区、伊金霍洛旗相关地区设西河郡，郡下设谷罗、富昌、美稷、增山、虎猛、大成6个县；在今乌审旗一带设上郡，郡下设奢延、白土、高望3县。公元12l年西汉为了管理投降汉朝的匈奴人，在鄂尔多斯地区设立五个属国，即上郡、西河郡、五原郡、朔方郡、云中郡。公元10年王莽篡权后，为控制今鄂尔多斯地区，将朔方郡改为渠搜郡，五原郡改为获降郡， 云中郡改为受降郡，西河郡改为归新郡。鉴于国家财政困难，光武帝刘秀决定减少一些地方行政机构，于建武11年（公元35年）和建武20年（公元44年）先后撤销朔方郡、五原郡，将今鄂尔多斯地区归并州（今太原市）领有。公元47年，匈奴萸踺日逐王比归附东汉， 比自立为呼和邪单于，据有今准格尔旗纳林一带。公元50年，东汉又将今鄂尔多斯地区分隶于朔方郡、五原郡、云中郡、河西郡、上郡。朔方郡辖有今鄂尔多斯杭锦旗南部、鄂托克前旗一带，下辖朔方县、广牧县、大成县；五原郡辖有达拉特旗和准格尔旗的北部一带，下辖河阴县、曼柏县；云中郡辖有今准格尔旗东北部地区；下辖沙南县；河西郡辖有今东胜市、伊金霍洛旗和准格尔旗西南部一带，下辖美稷县、平定县；上郡辖有今伊金霍洛旗南部和乌审旗一带，下辖榆林县、奢延县。 公元916年，辽在今准格尔旗、达拉持旗、东胜区、伊金霍洛旗 东部地区设振武军，废弃胜州；公元929年，在今达拉特旗、准格尔 旗北部置西南面招讨司（治天德军），下辖富民县、振武县；在今达 拉持旗西南部、东胜区东部置河清军；在今准格尔旗南部及东胜市 东部一带设全肃州；在今达拉待旗、准格尔旗东部设东胜州，下辖榆林县、河滨县；在今达拉待旗、准格尔旗北部设云内州，下辖柔服县、宁人县。 五代十国时期，鄂尔多斯分别被党项羌人、灵武节度使（亦称朔方节度使或灵盐节度使）、振武节度使占领，并延续很长一段时间。 公元960年月北宋在今鄂尔多斯东部地区设麟州新秦郡，下辖新秦县；在今鄂尔多斯南部地区设夏州、宥州，在西南部设盐州。 元朝灭亡之前，鄂尔多斯地区被元朝太傅、中书左丞相、河南王扩部帖木尔所占有。至明朝初期，扩部帖木尔被赶出鄂尔多斯，鄂尔多斯属明王朝派员管辖。但不久，故元势力和蒙古各部相继进入鄂尔多斯地区。在一个多世纪里，明王朝多次派军进攻。但始终未能如愿。后明朝在鄂尔多斯南部修筑长城，加设边关，将鄂尔多斯让给了蒙古军，并将阿拉坦汗加封为顺义王，两家关系才得以缓合，公元1371年，明朝在今鄂尔多斯南部设察罕脑儿卫，在东胜北部设东胜卫。 清顺治六年（公元1649年），清朝将蒙古族鄂尔多斯部落分为6个旗：鄂尔多斯左翼中旗（原郡王旗），方位在河套内正中近东，扎萨克驻敖西喜峰；鄂尔多斯左翼前旗（现准格尔旗），方位在河套内东南，扎萨克驻扎拉谷；鄂尔多斯左翼后旗（现达拉特旗），方位在河套内东北，扎萨克驻巴尔哈逊湖；鄂尔多斯右翼中旗（现鄂托克旗），方位在河套内正西近南，扎萨克驻锡拉布里多诺尔；鄂尔多斯右翼前旗（现乌审旗），方位在河套内西南，扎萨克驻巴哈诺尔；鄂尔多斯右翼后旗（现杭锦旗），方位在河套内西北，扎萨克驻鄂尔吉虎诺尔河；后增设鄂尔多斯右翼前未旗（原扎萨克旗）。方位在河套内中西部，扎萨克驻忽鸡图希里。光绪三十三年（公元1907年）清朝在鄂尔多斯左翼中旗东部被开垦的地区设东胜厅。 中华人民共和国建立后，鄂尔多斯于1950年普遍组建了行政政权，各旗县下辖区、乡、行政村（牧区称达尔古）、自然村（牧区称小达尔古）。1953年7月，鄂尔多斯将基层政权的行政村人民政府改为乡人民政府。1956年，全市69个区撤销37个，新建26个苏木。1958年10月，将当时的50个乡、23个苏木、5个乡级镇改为人民公社，其时伊盟（今鄂尔多斯）共下辖7旗、1县、78个人民公社、444个生产大队（其中有100个牧业大队）、2173个生产队（其中有468个牧业生产队）。1984年，伊盟（今鄂尔多斯）将人民公社改为乡、苏木，大队改为村、嘎查。