Нейронные сети
После того как Розенблатт (1962) разработал базовое правило изучения дельт для восприятия однослойных сенсорных устройств, Минский и Бумага (1969) доказали, что это правило не может решить нелинейные задачи. Лишь немногие ученые продолжили исследования нейронных сетей.
С появлением фундаментальных работ Хопфилда (1982; 1984) об ассоциативных нейронных сетях и даже больше с публикацией правила обратного размножения для многослойных нейронных сетей (Rumelhart et al., 1986), это направление получило значительный импульс.
Это учебное правило и его вариант позволили использовать нейронные сети во многих сложных медицинских диагностических задачах. Однако нейронные сети, как правило, использовались в качестве классификаторов "черных ящиков", не обладающих прозрачностью генерируемых знаний и не имеющих возможности объяснить принятые решения. В последнее время было разработано много продвинутых вариантов алгоритмов нейросетей, некоторые из которых обеспечивают прозрачность решений (Хайкин, 1994).
В самом начале я был очень увлечен нейронными сетями. Когда я впервые в жизни прочитал работы Хопфилда (1982; 1984) и Румельхарта и др. (1986), у меня возникло чувство, что я понимаю, как нейроны в мозгу могут выполнять полезные вычисления.
Раннее вдохновение привело меня к написанию докторской диссертации о байесовских нейронных сетях (Кононенко, 1989a), но позже мой научный интерес вернулся к символическому обучению.
Символическое обучение
Активным направлением исследований стало создание схем принятия решений и правил принятия решений после того, как Quinlan (1979) разработал знаменитый алгоритм Iterative Dichotomizer 3 (ID3) и Михальский и Хилаусский (1980) успешно применили систему AQ в задаче диагностики заболеваний растений.
В 1980 году Братко и Мулец (Bratko and Mulec) применили ID3 к тяжелой диагностической проблеме в онкологии, а затем были разработаны и успешно применены к различным медицинским диагностическим проблемам различные потомки ID3. Например, наш системный ассистент (Кононенко и др., 1984; Честник и др., 1987) применялся для решения различных проблем в онкологии (локализация первичной опухоли, прогнозирование рецидивов рака молочной железы, лечение лимфоза), урологии (нарушения функции нижних мочевых путей) и прогноз выживания при гепатите. Независимо от ID3, Breiman et al. (1984) разработали систему CART и применили ее для ряда диагностических и прогностических задач в кардиологии и онкологии.
Весьма неполный и единственный иллюстративный список применений машинного обучения в медицинской диагностике в восьмидесятых годах включает онкологию, патологию печени, диагностику заболеваний щитовидной железы, ревматологию, диагностика синдрома черепно-мозгового синдрома (Байм, 1988), кожная диагностика (Чан и Вонг, 1989), кардиология (Братко и др., 1989; Кларк и Босвел, 1991; Катлет, 1991), нейропсихология (Магельтон, 1990), гинекология (Н), 1990; Каттен, 1990; и др.
В девяностые годы был разработан рельефный алгоритм и его преемники (Kira and Rendell, 1992a;b; Kononenko, 1984; Robnik-Sikonja and Kononenko, 1997), что позволило оценить качество каждого признака с точки зрения других признаков.
Этот удивительный алгоритм не только значительно улучшил применимость вводных схем в действие, но и повысил прозрачность схем принятия решений. Структура генерируемых в результате процессов была более человечной, что было подтверждено в ряде диагностических задач (Kukar et al., 1996; Kononenko et al., 1998).
Современное состояние
Здесь мы даем описание специфических требований, которым должна удовлетворять любая система машинного обучения, чтобы ее можно было использовать при разработке приложений для медицинской диагностики.
Кратко описаны несколько алгоритмов обучения. Мы сравнили работу всех алгоритмов по нескольким медицинским диагностическим и прогностическим проблемам и обсудили их пригодность для применения в медицинской диагностике.
Специальные требования к системам машинного обучения
Для того чтобы система машинного обучения (ML) была полезна при решении задач медицинской диагностики, желательно, чтобы она обладала следующими характеристиками: хорошая производительность, способность надлежащим образом справляться с отсутствующими данными и с шумными данными (ошибки в данных), прозрачность диагностических знаний, способность объяснять решения и способность алгоритма сократить количество тестов, необходимых для получения надежной диагностики.
В этом разделе мы сначала обсудим эти требования. Затем мы рассмотрим сравнительное исследование (Кононенко и др., 1998) семи репрезентативных алгоритмов машинного обучения, чтобы более конкретно проиллюстрировать сделанные выводы
Хорошая работа: Алгоритм должен быть способен извлекать значительную информацию из имеющихся данных. Точность диагностики новых случаев заболевания должна быть как можно более высокой.
Как правило, большинство алгоритмов работают, по крайней мере, так же хорошо, как и врачи, и часто точность классификации машинных классификаторов лучше, чем точность классификации врачей при использовании одного и того же описания пациентов. Поэтому, если есть возможность измерить точность врачей, то их эффективность может быть использована в качестве нижней границы требуемой точности системы ОД в данной задаче.
В большинстве проблем с обучением различные подходы обычно достигают одинаковых результатов с точки зрения точности классификации, хотя в некоторых случаях некоторые алгоритмы могут работать значительно лучше других (Michie et al., 1994).
Следовательно, априори практически ни один из алгоритмов не может быть исключен в отношении критерия производительности. Вместо этого следует протестировать несколько подходов к обучению на основе имеющихся данных и рассмотреть возможность использования одного или нескольких из них с наилучшей оценочной производительностью для разработки прикладного программного обеспечения.
