1882年，張之洞任山西巡撫期間奏準在太原府署西偏明代晉藩寶賢堂故址創立令德堂。

1897年，更名為山西省會學堂。

1912年，更名為山西師范學堂。

1952年，太原市教育局在北肖墻創立太原女子中學校，成為山西省實驗中學歷史的正式開端。

1955年7月，太原女子中學更名為太原第十初級中學校，并遷往解放路省實驗中學校址。

1958年，學校由初級中學校更名為山西省太原第十中學校。

1986年，正式更名為山西省實驗中學，學校劃歸省教育廳直接領導。

2000年，學校在太原市南部的高新技術產業開發區建設高新校區（晉陽街）。

2009年9月，省實驗中學高新校區落成啟用。

截止2014年，山西省實驗中學解放校區占地面積50余畝（3.33萬余平方米），有建筑面積2.2萬平方米的綜合教學大樓，建筑面積1.2萬平方米的學生公寓大樓，建筑面積1.8萬平方米的教師宿舍大樓，以及教學實驗樓、藝術樓、體育館和校園廣場等。

山西省實驗中學高新校區占地面積12萬平方米，建筑面積110.2萬平方米。包括教學樓、藝術樓、綜合實驗樓、教師辦公樓、圖書館、行政辦公樓、公寓樓、學生食堂和綜合體育館和運動場。

截止2014年，學校有教師300余名，專職教師98人，全部擁有大學本科以上學歷。教師年齡、教齡、職稱、學科、性別結構合理。高級教師63人，一級教師26人，二級教師28人；有省特級教師7人、省學科帶頭人18人、太原市學科帶頭人25人、省教學能手32人、課題組成員20人、太原市教學能手12人、山西省骨干教師3人、太原市骨干教師20人、太原市名師5人。