Точка — внутри треугольника? Нескучное программирование. Два метода: барицентрические координаты и векторные произведения.