1919年，山西督军兼省长阎锡山（字伯川）为“使中医能应世界之潮流成一种有统系之科学”，决定成立中医改进研究会及附设医校和附设医院。医院定名为中医改进研究会附设医院。医院以救济病人，扶助医会，改进医术，并指导医校学生实习为宗旨。

1932年，中医改进研究会附设医院改组为私立山西川至医学专科学校附属川至医院。

1946年，学校和医院更名为山西省立川至医学专科学校和山西省立川至医学专科学校附属医院。

1949年4月太原解放，同年8月军管会省政字第39号令：山西省立川至医学专科学校附属医院与国立山西大学医学院附属实习医院合并为国立山西大学医学院附属医院，院址为川至医院原址。

1950年，山西省卫生厅决定山西省立医院合并入山西大学医学院附属医院。

1953年，上级决定山西大学医学院独立建院，更名为山西医学院，山西大学医学院附属医院随之更名为山西医学院附属医院。

1957年，山西医学院附属医院奉命将工作人员一分为二，改组为山西医学院第一附属医院和山西医学院第二附属医院，分别在新院址和原院址建院。在原院址者，为山西医学院第二附属医院（简称山医二院）。同年，山西医学院新院址建成，由山医二院陆续迁出，所有设备、教学设施归山西医学院第二附属医院。

1962年，山西医学院决定在山西医学院第二附属医院成立医疗系二部。

1967年，山西医学院决定在山西医学院第二附属医院成立临床医学二系。

1987年，山西省红十字会决定山西医学院第二附属医院为山西红十字医院。

1994年，山西医学院第二附属医院在全省率先建成三级甲等医院和爱婴医院。

1996年，山西医学院第二附属医院更名为山西医科大学第二医院；同年，在临床医学二系基础上成立山西医科大学第二临床医学院。