Выражение это означает это не что иное, как действовать на нервы, раздражать и всячески доёбывать собеседника. Возникло оно от слова «компостер» — устройство, которым в СССР пробивали бумажные талоны в общественном транспорте. Компостер оставлял на билетах характерные дырочки, буквально «прокалывая» их. Так и в выражении — когда человеку «компостируют мозги», его будто ментально «прокалывают» снова и снова.