Люди, которые так говорят, безусловно, опираются на какие-то свои впечатления и выводы о Вас и Вашем поведении. Но понять, что там у человека в голове, когда он говорит: мол, чей-то характер "трудный" - задача не из легких. Гадать, что он имел в виду, можно долго... и не факт, что успешно. А можно просто спросить. Дело в том, что чаще всего люди говорят так в случае, когда уверены: собеседнику невозможно объяснить, в чем суть претензий к нему. И когда Вы спрашиваете, то...