Всё просто. Нужно знать не только сами чередующиеся корни, но и (тут внимание ☝) их значения!  Чередующиеся корни -КОС-/-КАС- имеют значение "касаться": КАСание, КАСательная, приКОСнулся, приКОСновение, неприКОСновенный и т. п.  Написание этих корней зависит от суффикса -А-. Есть суффикс -А- - пишем -КАС-, нет суффикса -А- - -КОС-.  Слово КОСАРЬ обозначает, во-первых, человека,который занимается заготовкой трав, используя кОсу, то есть он кОсит, а не касается кого-то. Следовательно, не имеет отношения к чередующимся корням...