Связи — отдельный механизм памяти для ИИ

Согласно Науке складности,

Время — это процесс накопления информации.

А если более точно, то процесс перевода информации из вероятностной формы в определённую. Память, если её рассмотреть как процесс, таким образом, является отражением времени. Наука складности выделяет четыре вида времени, присущих любому процессу. Они отвечают за контакт с внешним миром, за синхронизацию с ним, за поддержку переработки ресурса и за управление, т.е., за выдачу вовне сигналов синхронизации.

Чтобы нейросеть могла полноценно моделировать все четыре вида времени, каждый базовый элемент модели — нейрон должен обладать четырьмя видами активной памяти. Конструкция искусственных нейросетей такой роскоши не предполагает. Существующие «макро-костыли», такие как слои, рекурентность, внимание частично компенсируют этот недостаток, каждый раз знаменуя технологический прорыв, но достигнуть совершенства в отражении всей полноты реального мира они не позволят.

Самым известным из применяемых видов памяти являются веса (т.е., значимость) и они отвечают за модальность управления. Другим, несколько менее очевидным видом памяти являются связи.

В существующих нейросетях связи между нейронами устанавливаются жёсткими и их реальное наличие косвенно моделируется весами. Покрытие весами полного поля связей требует полного перебора и вызывает большие вычислительные затраты. Это обстоятельство сигнализирует о типовой ошибке некорректного выбора модели, что позволяет нам рассмотреть веса и связи, как  два технически разных механизма памяти.

С точки зрения складности, они расцениваются как агрессивные друг к другу: веса обесценивают связи, а связи дестабилизируют картину весов. Объединение этих двух механизмов в один вызывает конфликт интересов при обучении сети. В настоящий момент этот конфликт решается полной фиксацией структуры связей и, по сути, выводом её из игры. Таким образом, при принятии решений веса доминируют.

Механизм образования связей

Нейрон появляется в мозгу, как ребёнок из утробы матери. Ему предстоит самостоятельно адаптироваться к окружающей среде, понять её законы, стать полезным и начать управлять собой и окружением. Так же и любая частица в природе, которая сегодня имеет своё место, возможно — в составе дерева, или камня, вначале долго его искала. Механизм поиска и адаптации является одним из базовых механизмов всего сущего, поэтому он потребует моделирования и в рамках реализации сильного ИИ.

Проводя аналогию с биологическим мозгом, изначально мы можем представить его, как проницаемое «желе» из нейронов, по внешней оболочке которого расположены совместимые с нейронами соединительные синапсы доступной «периферии»: рецепторов (приёмников сигнала) и эффекторов (подключений к разного рода мышцам и железам). Эти синапсы, при поступлении на них внешних сигналов, источают в объём мозга нейромедиаторы. Нейромедиатор вызывает рост аксона и дендритов по градиенту в направлении источника распространения. Таким образом, происходит стыковка отростков-связей с «периферией». Поскольку отростки-связи нейрона бывают двух типов: аксон и дендриты, то и нейромедиаторов существует, как минимум, два типа — каждый для приманки своего типа отростка.

При этом, хотя вульгарно считается, что аксон проводит сигнал только в одну сторону, очевидно, эффекторы обязаны сигналить в него обратно, когда подвергаются внешней деформации (подобно пьезокристаллу, хотя это — лишь аналогия).

Процессы роста аксона и дендритов происходят одновременно.

При этом, нейромедиатор проходит клетку насквозь. Т.е., если нейрон закрепился дендритом, но у него остался свободен аксон (или наоборот), то нейромедиатор будет источаться из свободного синапса, провоцируя образование вторичных связей до тех пор, пока цепи от рецепторов до эффекторов не будут замкнуты.

При соединении синапсов, нейромедиатор перестаёт рассеиваться в пространство, и передаётся внутри образованной связи.

Когда синапс аксона соединён, он начинает отращивать новые синапсы, тестируя окружающую среду на наличие конкуренции.

Дендрит также  пускает отростки в поисках соседних источников питательного вещества, а когда синапс дендрита долгое время ничего не получает, он отсоединяется и ищет новый источник.

Вероятный механизм конкуренция за нейромедиатор регулируется другим видом памяти  и будет рассмотрен в отдельной статье.

Отметим, что описанная картина не является точным отражением биологических процессов мозга, которые много более сложны и вариативны. Она является лишь инженерной реконструкцией для целей моделирования, проведённой с использованием концепций складности.

Естественное упорядочивание связей

Процесс образования связей обуславливается ростом дендритов в сторону активных в настоящий момент рецепторов и уже сформировавшихся вторичных аналитических групп нейронов. Поскольку (особенно, в процессе обучения) в каждый конкретный момент мы погружены в какую-то конкретную деятельность, то в объёме мозга будут превалировать градиенты, ведущие к информации, так или иначе, связанной с этой деятельностью. Одновременно и эффекторы будут вовлечены в нагрузку, связанную именно с этой деятельностью. Поэтому в период обучения преимущественный рост связей будет происходить в направлении узлов, кореллирующих с предметом обучения. Ошибочно оторощенных связей будет меньше и они, не найдя в дальнейшем подтверждения, сами отпадут.

Моделирование

Моделирование образования связей предполагает имитацию пространственной структуры укладки нейронов, распределение по её внешней оболочке рецепторов и эффекторов, а в центральной части — желез общей регуляции (общее возбуждение, торможение, поощрение и наказание, поскольку они должны, в первую очередь, воздействовать на центральную — «вычислительную» часть). Для каждого синапса каждой клетки определяется её текущее местоположение и статус подключенности. Затем, в процессе симуляции, производится эмиссия вещества двух типов (рецептоного и эффекторного нейромедиаторов) из инервируемых периферических синапсов и моделируется его постепенная диффузия в незаполненные области. Среагировавшие на градиент связи уменьшают его количество (поглощают) и вырастают в сторону градиента. Связи, достигшие источника, фиксируют соединение. Связи, поступление через которые стало ниже порога, разрываются.
Количество волокон в одной ячейке пространства потенциально не ограничено. Максимальная длина дендритов ограничена — это соответствует биологии и позволяет формировать связные вычислительные «слои» (точнее — комки). Максимальная длина аксонов не ограничена, позволяя им дотягиваться до других «комков».

Такой «комок» является заменой традиционного «слоя». По сравнению со слоем, он имеет дополнительный механизм памяти в форме целенаправленно установленных связей и способен отражать более сложные взаимосвязи природы. После стабилизации связей, он будет более экономичен в вычислениях.

Резюме

До проведения моделирования, пока что сложно оценить эффекты, которые создаст добавление к нейрону механизма проактивного поиска связей, но, используя аналитический аппарат, который предоставляет Наука складности, можно ожидать, что это расширит возможности нейросети в части свободного поиска решений, в то время, как традиционная аритектура, ограничивающая связи только лишь фиксированной последовательной структурой слоёв наиболее эффективна в вопросах логического вывода на основе причин и следствий.