Горе от ума — признак небольшого ума.
Ум — способность решать задачи. Если важные задачи (психологический комфорт) человек решить не может, то он явно не суперумный. Да, умный, но проблемы у него не от большого ума, а от недоразвитости психологического ума.
Не путайте ум с начитанностью и образованностью. Второе — про знания, а первое — про жизнь.