据史料记载，夏商时，榆林市的部分地方（神木、府谷、佳县等地）在雍州白翟的一部分，战国时为秦国上郡地。公元前221年秦统一六国，始皇分天下为三十六郡，上郡是其中一个。汉高祖元年（公元前206年），项羽三分关中，封秦朝的降将董翳于上都为翟王，二年翟王降汉高祖，汉又置上郡，七年（公元前200年）置西河郡（郡址在内蒙古境内），领言阴、言阳（神木县秃尾河两岸）和榆谷（府谷县北河套中）三县。其时定边县属北地郡马岭县地。

　　三国时期，上郡、西河郡为匈奴占据，未设置郡县。东晋时期，匈奴王赫连勃勃在统万城（今靖边白城子）建立大夏国。公元427年，北魏灭大夏，设立统万镇，太和十二年（公元488年）改设夏州，并在境内设置化政、阐熙、朔方三郡。西魏大统十二年（公元546年），增设长州及大安郡，同时把化政郡改称弘化郡。废帝元年（公元552年），撒销朔方郡，另设绥州及安宁、安政、抚宁三郡。北周保定二年（公元562年），增设银州及中乡郡。

　　隋开皇元年（公元581年），因避文帝父亲杨忠的名讳，将中乡郡改称真乡郡（今佳县真乡川）；三年撤弘化、大安、阐熙、安宁（今绥德以南）、安政（今清涧境内）、抚宁（今米脂西部）、真乡郡，仍设夏（治统万）、长（治长泽，今靖边境内）、绥（治龙泉，今绥德县城）、银（治儒林，今横山境内）四州；大业元年（公元605年）将绥州改称上州，三年撤销州制，设立朗方、雕阴二郡。

　　隋末唐初，本区为地方豪族梁师都占据，自称梁国，潜皇帝位。贞观二年师都被灭，唐复设银、绥、夏三州，均属关内道管辖。开元十二年（公元724年）在本区东北部增设麟州（治所今神木杨城）。天宝元年（公元742年）撤州设上郡（今绥德）、银州郡（今党岔）、朔方郡（今白城子）、新秦郡（今杨城）。乾元元年（公元753年）撤郡，复设绥、夏、银、麟四州。元和十五年（公元820午）宥州治所由内蒙鄂托克旗迁到今定边境内。后唐庄宗李存勖以府谷县升州（今之府谷）。

　　五代时期州县设有夏州（领朔方、德静、宁朔三县，均在今靖边境内）、银州（领真乡、开光、儒林三县，在今米脂、佳县境内）、麟州（领新秦、连谷、银城，在今神木境内）、府州（今府谷）、绥州（领绥德、龙泉、延福，城平、大斌五县，在今绥德、清涧、吴堡、子洲境内）。

　　北宋时，榆林地区属永兴军路（初名陕西路），绥州、宥州被西夏占据，未设郡县，熙宁三年（公元1070年）收复，元符二年（公元1096年）后，得失无常。宋高宗南渡后，又沦为金有，属鄜延路的一部分，设绥德州、晋宁军（佳芦紫），大定二十二年（公元1182年）撤军设绥德州、晋宁州（二十四年改佳州）。元代绥德州、佳州属延安路，绥德州领清涧、米脂二县，佳州领神木、府谷二县。明成化七年（公元1471年），在长城一带设置榆林卫，孝宗弘治十八年（公元1505年）九月设立东路神木道，领佳州、府谷、神木三州县，中路榆林道领绥德、米脂、清涧、吴堡四州县，西路靖边道领保安（今志丹）、安定（今子长）、安塞三县，包括榆林地区的定、靖、横三县。

　　清雍正年间，设有榆林府和绥德直隶州两个省辖行政区。辛亥革命后，1913年废府州制度，设榆林道。后又废道，各县由省直辖。中央红军到达陕北后，1937年陕甘宁边区政府成立，本区除榆林外，各县先后解放，在原苏维埃政权的基础上建立人民政府，设置绥德、三边两个分区，分别管辖绥德、米脂、佳县、横山、清涧、吴堡和靖边、定边、安边（后撤销）。1944年1月10日从绥德、米脂、清涧、横山及延属分区的子长五个县各划出一部分成立子洲县，属绥德分区。当时，神木、府谷之东区设神府特区，归晋绥边区管辖。1949年6月1日榆林城和平解放，撤销三边分区，设榆林分区，管辖榆林、定边、靖边、横山、神木、府谷六县。1950年5月成立绥德、榆林两个专区。1956午10月撤销绥德专区，将所辖绥德、米脂、佳县、吴堡、清涧、子洲六县并入榆林专区，子长、延川并入延安分区。1958年将十二县并为榆林（横山）、神本（府谷）、靖边、定边、绥德（民堡、清涧、子洲）、米脂（佳县）六县。1961年所并各县恢复原制。1988年将榆林专员公署改为榆林地区革命委员会，是一级政权机构。1979年改为榆林地区行政公署，为省人民政府的派出机关。2000年7月1日，撤地设市，将榆林地区正式改为了榆林市。