В начале нулевых Фрейзер был лицом приключенческого Голливуда, но затем исчез так резко, что это выглядело как оборванная плёнка. Одна из причин — история 2003 года: на ланче Голливудской ассоциации иностранной прессы её президент Филип Берк, по словам актёра, схватил его за определенные места, якобы, «в шутку», и Фрейзер пережил это как унижение и травму; он говорил, что после попыток добиться реакции от организации почувствовал себя изолированным и стал реже получать роли. К этому добавились травмы...