Лингвисты утверждают, что современное написание – Кощей, с прописной буквы. Кащей в словарях обозначается как устаревший вариант. Интересно, что вместе с орфографией изменилось и восприятие происхождения слова.
Вот, как об этом написано в словаре В.И. Даля:
Кащей м. - сказочное лицо, вроде вечного жида, с прилаг. бессмертный, вероятно от слова касть - сокращ. из капость, пакость «мерзость, гадость, скверна». Отсюда же слово кастить или кости́ть в значении «бранить, поносить», т.е. пачкать словом, укр. кости́ти «бранить».
Однако со временем, согласно В.И.Далю, произошло переосмысление значения и вслед за этим – и написания слова. Кощей, стали связывать со словом кость, означая так изможденного непомерно худобою человека, особенно старика, скрягу, скупца и ростовщика, корпящего над своею казною.
В современных производных от слова Кащей прослеживается образ именно тощего, костлявого скряги. Несколько таких слов приводятся в словаре В.И.Даля:
Кащейка - скупая, весьма худая старушонка. Кащеить или кащейничать - скряжничать, жидоморничать. Кащейничанье ср. скряжничанье. Кащейство ср. то же, в отвлеченном знач.
Есть еще одна версия происхождения варианта кощей – от др.рус. кощеи, кощии «отрок, мальчик, пленник, раб», что восходит к тюрк. kоšči «невольник» и далее - kоš «лагерь, стоянка» (ср. в укр. кошевой – «старшина, начальник коша», в белр. кашеваць – «раскинуть стан»). В таком значении слово употребляется в «Слове о полку Игореве»: «чага (рабыня) была бы по ногате, а кощей (раб) по резане».
Можно предположить, что рабы тоже были, мягко говоря, довольно худыми (да и грязными), но, вообще говоря, богатый, злобный старик, да еще и почти бессмертный, как-то слабо ассоциируется с невольником или рабом. Если принять эту гипотезу, придется признать, что первоначальное значение корня полностью утратилось. Такое иногда бывает в языке.
Некоторые исследователи считают, что персонаж по имени Кощей появился в русском фольклоре только в XVIII веке, до этого аналогичные функции антагониста, похитителя девушек, охранителя царства мертвых выполнял Карачун. В поговорках («карачун взял», «карачун пришел») это слово и сегодня обозначает «смерть, погибель», и лишь косвенно, благодаря глаголам действия, ассоциируется с неким одушевленным персонажем.
Кощея обычно относят к восточнославянскому фольклору, в сказках других славянских народов он встречается довольно редко. В пример обычно приводят чешскую сказку «Меднобородый» и польскую «Пять овечек», где этот персонаж именуется Кощеем Меднобородым и является владыкой подземного царства (правда, на поверхность вылезает через ручьи и колодцы).
Интересное исследование истории этого слова и персонажа приводит Геннадий Дергачев.