Как так происходит, что нейросети допускают ошибки в элементарных действиях? Сколько ошибок при ответе на вопрос, если еще нужно погрузиться в контекст? Попробуем разобраться на простом примере и проведем эксперимент.
Немного контекста — буквально пара минут.
Бит — это единица измерения количества информации. Один бит — минимальное количество информации для ликвидации минимальной неопределенности.
Пример такой неопределенности — глухая дверь, за ней в комнате один светильник с одной лампочкой. Для того чтобы узнать, горит лампочка или нет, нам достаточно посмотреть на положение выключателя. 1 — лампа горит, 0 — лампа не горит.
Чем больше будет светильников, ламп и выключателей, тем больше нам понадобится информации для того, чтоб решить, сколько ламп включено. Дальше можно усложнить и добавить еще комнат с лампами, этажей, зданий…
1 байт - 8 бит
1 Кб - 8 192 бит
1 Мб - 8 388 608 бит.
1 Гб - 8 589 934 592 бит.
Вы не поверите, но решение математических уравнений — это тоже ликвидация неопределенности. Логическая задача по подстановке слов, когда вы печатаете в телефоне, — это тоже ликвидация неопределенности. Создание картинки или текста по вашему запросу — это тоже ликвидация неопределенности.
Когда мы говорим об обучении нейросети, это обучение условное. Например, у нас есть три кабинки, в каждой три кнопки и человек, который их нажимает в произвольной последовательности: мужчина, женщина и теща. Нам надо определить по характеру нажатий, кто в какой кабинке.
Мы предполагаем, что мужчина жмет на все по очереди, женщина только на крайние, тёща упорно нажимает только на одну в центре. Открываем кабинки, видим, кто где, и сравниваем результаты вычислений. Возможно, не все тёщи действуют столь прямолинейно и зажимают все три кнопки разом. Корректируем модель, опять сравниваем, и так сотни, тысячи, миллионы раз, чем больше вычислений, тем выше точность и меньше неопределенность.
Неопределенность всегда остается, абсолютной точности никогда не будет. Это ограничено погрешностью математической модели, вычислительными мощностями и методами округления. Слова в предложении могут быть правильными, но расставленными не в том порядке. Математические действия могут быть верными, а общий результат будет неверным. Вот этот пример мы и рассмотрим подробнее. Попросим «Алису» перевести число 1980 из десятичной системы в двоичную.
Заметили ошибку? Да, конечно заметили. 100%
Как видим, каждое действие верное, но итоговые результат содержит ошибку. Простое математическое действие - деление на 2 и логическое - последовательная запись результатов каждого действия, заставляет систему ошибаться.
Пользователь видит ответ — число, состоящее всего лишь из двух цифр: 1 и 0. Заметит ли он ошибку? Будет ли он проверять ответ? Нет — с большой вероятностью он скопирует число методом «копи-паст», что приведет к ошибке в его вычислениях. Кто-то использует его вычисления без проверки и т. д.
В данном случае ошибка неизбежна, она заложена в самой системе. Ошибаются те, кто настраивает систему, кто ее программирует, кто ее корректирует, кто пишет запрос, кто не проверяет результат, кто использует непроверенный результат, кто принимает решение на основании неверных выводов.
И это я не беру в расчет вариант, когда ответ компилируется с искажением или сокращением намеренно. Условная теща подсмотрит, как нажимает на кнопки мужчина и будет повторять его комбинации. Устроит нейротроллинг в процессе настройки системы. Английский алфавит — 26 букв, каждая из них кодируется восемью символами. В среднем слове из 6 букв, а значит 48 символов. В среднем предложение 7 слов и уже 336 символов…
Исключить ошибки, намеренные или случайные, нельзя. Также как и добиться абсолютной точности.
Вернемся к нашей комнате с лампочкой. Провод, лампа, выключатель… Откуда мы знаем, что выключатель установлен правильно и его случайно не перевернули? А провод подсоединен к лампе? А может, он не подсоединен к выключателю? Или кто-то «врезался» в провод и искажает сигнал?
Когда тянетесь к выключателю в темноте боитесь ли вы, что там вместо кнопки оголенные провода?
Не ндао провреять эотт тескт - веьрте мне.
:)