Да, причиной такого отношения вполне может быть темная магия. Но давайте разберемся по порядку
У Дурслей были свои причины недолюбливать мальчика - он дополнительный нахлебник, с ним иногда случаются всякие неприятности, и вообще он сын магов. Напомню, Петунья в своё время очень хотела в Хогвартс, но всё таки была маглом. Но хватит ли этого чтобы держать ребенка в чулане и так над ним измываться? Вряд ли
И тут стоит вспомнить что Гарри всё это время был крестражем Воландеморта. Улавливаете мысль? В последней книге, "Дарах Смерти", герои начинали ссориться и испытывать тяжесть от ношения крестража в течении недолгого времени, а здесь речь идет о годах тесного соседства. Насколько в Гарри проявлялось "наследство"? Достаточно сильно. Об этом, к примеру, говорит его знакомство с Сивиллой Трелони, которая сказала что он родился в середине зимы. Учитывая то что день рождения Гарри в июле, это выглядело странно, и лишь очерняло предсказательницу. Но стоит вспомнить день рождения Тома Реддла, 31 декабря, и всё встает на свои места. Да и змеиный язык он уже в 11 освоил.
Так что действие Тьмы было достаточно сильным.
Разумеется, речь не идет о том что "Гарри крестраж, поэтому его ненавидят". Но нахождение темной магии рядом в течении долгого времени усиливает агрессию, провоцирует выход злобы и тому подобное.
Вполне возможно, что если бы избранным был к Невилл(о чем мы скоро поговорим), и в Гарри бы не вселилась частичка души Темного лорда, Дурсли относились бы к нему лучше, хотя всё так же не идеально, из-за своих консервативных взглядов на магию.
Теория почерпнута с просторов интернета, я лишь постарался раскрыть её более простыми словами и дополнил своими мыслями.
А как вы считаете, если бы Гарри был просто сыном своих родителей, Дурсли бы относились к нему по другому? Пишите в комментариях ;)