Импотенция - это буквально отсутствие потенций, то есть возможностей. Но если в русском языке "возможность" - это некая абстракция, которую можно и не реализовывать, главное, чтобы она была в пространстве, то слово "потенция" предполагает некий заряд, зачаток действия, которое начнёт реализовываться в этой возможности. Это разница между словами "я хочу" и "я могу". Хотят многие. Возможности есть у многих. А вот потенция - явление не такое уж и массовое. Не каждое "хочу" заряжается потенциалом "сделаю"...