Эффективное устройство ИИ и нейросетей

Приветствую вас на моем канале. Меня зовут Дмитрий.

В нейросетях, как известно, широко применяется параллелизм вычислений. Для этих целей, в частности, используются ассоциативные запоминающие устройства (ЗУ).

Фоновая иллюстрация [https://hightech.fm/2021/06/03/founding-members-include]

Ассоциативные ЗУ

В современных вычислительных системах широко используется операция поиска информации. При использовании обычной памяти с адресным принципом доступа к данным, эта операция занимает много времени, поскольку операнды считываются из памяти поочередно, после чего над каждым операндом производится операция сравнения. Это обстоятельство является фактором, увеличивающим время поиска.

Оперативное запоминающее устройство компьютера [https://helpiks.org/8-89381.html]

Решение проблемы заключается в том, чтобы эти операции выполнялись одновременно.

С целью ускорения поиска данных используется адресация по содержанию, которая осуществляется путем одновременного доступа ко всем ячейкам памяти. Например, имеется массив данных емкостью N слов. Требуется найти в массиве все слова, которые начинаются с символа A и кончаются символом H. В этом случае аргументом поиска является слово A***H, где знаком * отмечены разряды, не влияющие на результат поиска.

Принцип ассоциативного поиска информации

Запоминающий массив на аппаратном уровне строится таким образом, чтобы на выходе ячеек памяти, содержимое которых совпадает со значением поступившего аргумента поиска, появлялся сигнал - указатель совпадений. В дальнейшем по выбранным сигналам выполняется выборка содержимого тех ячеек памяти, в которых произошло совпадение.

Устройство ячейки ассоциативного ЗУ

При построении ассоциативного ЗУ (АЗУ) с маскированием, в операции сравнения участвуют не все разряды ключевого слова, а только та их часть, которая активизируется управляющим вектором - маской. Ячейка памяти переводится в активное состояние, если соответствующий ей разряд маски единичный, в противном случае она в операции сравнения участия не принимает.

Ввод данных в АЗУ выполняется после предварительного поиска в модуле памяти АЗУ свободных строк. С этой целью в каждой строке модуля памяти предусматривают специальный бит занятости, который устанавливается в единицу при вводе слова данных в АЗУ и обнуляется при выводе этого слова.

Устройство и принцип работы АЗУ

АМС - анализатор многократных совпадений. АМС и шифратор устроены по типу устройства управления процессора (УУ) - тоже имеют в своем составе счетчик и по каждому тактовому импульсу формируют управляющие сигналы, идущие в мультиплексор. Сигналы от памяти отклика в АМС и шифратор можно представить как код операции, идущий из регистра команд в УУ процессора. [studfiles.ru]

Еще больше увеличить параллелизм вычислений в ИИ и нейросетях можно за счет использования нескольких ассоциативных ЗУ, соединенных друг с другом в некий каскад.

Несколько АЗУ, соединенных вместе

В таких каскадах ассоциативных ЗУ (АЗУ) информация может передаваться от одного АЗУ к другому, через несколько промежуточных АЗУ. На уровне отдельного АЗУ информация может загружаться и выгружаться (удаляться) через свою собственную нейросеть или оперативную память.

Сдвиговый регистр на D-триггерах

Триггеры нескольких АЗУ могут быть соединены между собой по принципу сдвиговых (последовательных) регистров. Каскады АЗУ могут быть закольцованы по принципу кольцевых сдвиговых регистров. В мозге человека, в лимбической системе, существуют подобные кольцевые структуры, участвующие, по-видимому, в запоминании информации и других функциях.

Однако, скорее всего, реализовать эту трехмерную архитектуру каскадных АЗУ будет крайне сложно в условиях современных двумерных кремниевых чипов.

Уважаемые читатели, приглашаю вас в мои группы в vk и живом журнале.

#нейросети #ии #электроника #память #ассоциативная память #программирование #IT #наука #образование #технологии