Задача, которую разберу здесь, является яркой иллюстрацией красоты координатного подхода к решению задач. В университете среди базовых курсов есть курс "Анатилическая геометрия и линейная алгебра", в рамках которого уделяется большое внимание координатному подходу. Этот подход позволяет разбивать геометрические задачи на более мелкие задачи по координатам.
Задачу можно решить разными способами, но только координатный в этой задаче хорошо подходит.
Чтобы решить графически, нужно длину одного из векторов умножить на длину проекции на него другого вектора. Для этого совмещают начала векторов и от конца одного из векторов опускают перпендикуляр на другой вектор. В нашем случае обе длины получаются иррациональными, но и точно даже иррациональным числом не удается определить проекцию графически (перпендикуляр не проходит через точку с целыми координатами на векторе, на который опускается.
Можно использовать формулу скалярного произведения: произведение длина векторов на косинус угла между ними. Для этого тоже совмещают начала векторов и определяют угол между ними. Но здесь тоже решение будет непростым, сложно будет найти сам угол между векторами, нет удобных опорных линий, точек, углов.
Так что остается только координатный способ, который, кстати, очень часто бывает удобным. Для нахождения скалярного произведения нужно найти координаты векторов, вычитая для каждого из них координаты начала из координат конца. После нужно просто вычислить сумму произведений соответствующих координат векторов.
Решение: координаты первого вектора: (5-1, 8-2) = (4, 6); координаты второго вектора: (11-5, 3-5) = (6, -2); скалярное произведение: (4, 6)·(6, -2) = 4·6 + 6·(-2) = 24-12 = 12.
В ответ нужно просто вписать число 12.