香港早於一八七五年便有第一所臨時性的精神病院，但服務形式只局限於為精神病患者提供監管式的護理，談不上甚麼醫學治療，故香港精神科服務的初始階段被稱為「精神病院年代」，甚至被貶作「瘋人院年代」 (asylum era)。

至於現代精神科醫學，應自一九四八年，由精神科醫生葉寶明從英國來港就任香港精神病院院長時開始。憑著葉醫生的努力和帶領，到六十年代，一系列較全面的精神治療設施逐步開設，當中包括興建青山醫院和油麻地精神科中心，而精神科醫護人手亦隨之不斷加増。

為了發展推廣香港精神科服務，以及促進全國和國際性的精神醫學組織間之聯繫，在一九六七年七月二十八日，本港一群精神科醫生成立了「香港精神科醫學會」(Hong Kong Psychiatric Association)，初期會員人數不過三十。未幾，於一九六八年四月，「香港精神科醫學會」被接納為「世界精神病學協會」成員。

早期的精神科專業培訓，主要透過政府的精神健康服務進行在職訓練，其後，得香港大學和香港中文大學的精神醫學系加入，組成協調小組，繼而發展成「精神醫學培訓委員會」(Psychiatric Training Committee)。至八十年代，兩年的本地專科培訓課程擬定後，經英國皇家精神科醫學院審議，取得公認資格。

一九八八年，繼由香港政府成立一個大學以上程度的醫療教育及訓練工作小組 發表工作報告後，不同的專科代表隨即組成「香港醫學專科學院」籌備委員會，而「香港精神科醫學會」以其獨特的地位，參與籌委會工作，並於一九九三年成為「香港醫學專科學院」成員之一，「香港精神科醫學院」亦因然而生。