Веса — лишь один из механизмов памяти ИИ

Продолжение исследования природы инженерных механизмов искусственного интеллекта с точки зрения Науки складности. В предыдущей заметке мы рассмотрели связи, как парный к весам механизм памяти, один из необходимых для полного моделирования явлений Природы. В настоящей заметке мы возвращаемся к более подробному рассмотрению принципа работы памяти весов.

Когда нейрон отращивает дендриты он готовит основу для моделирования разнообразных реальных процессов. В ходе таких процессов несколько компонентов разной природы, в т.ч., производительных сил, собираются вместе, чтобы процесс произвёл результат.

Мы можем представить себе цех, в котором собирают трактор. Чтобы выпустить подобное изделие необходимо большое количество деталей — от кузова, двигателя и колёс, до электрики, электроники, салона и органов управления, а также электричества, средств производства и людей.  Эта метафора может быть распространена также и на любые физические и биологические процессы.

Полное моделирование процесса требует сочетания нескольких стратегий, одна из которых будет отвечать за инженерию (кстати, за это и отвечают связи), другая должна отвечать за организацию (т.е., непосредственное осуществление) переработки, третья за планирование, а четвёртая за управление, т.е., за достижение целевых показателей. Наука складности показывает, что эти стратегии не только различаются, но и являются взаимоисключающими друг по отношению к другу.

Анализ с точки зрения складности говорит, что среди этих четырёх стратегий, связи и  веса противостоят друг другу, как агрессивная пара и веса отвечают за управление. Основой управления, как одной из четырёх базовых стратегий, является контроль потоков ресурсов — будь то сами ресурсы, или потоки информации о них. С точки зрения управления «производством» нам может быть не очень интересно, как именно друг с другом соединяются детали, но будет важно, что эти части должны быть поставлены в необходимом комплектном количестве, чтобы мы могли произвести некоторое количество «тракторов», определяемое внешней целью, например «госзакаом». Если цель будет достигнута, то нашему «предприятию» будут выделены новые ресурсы, а если нет — приедет комиссия, наказывать невиновных и награждать непричастных.

Мы, конечно, позволили себе вольности в этом описании, но в нервной клетке — всё происходит как в жизни. Иначе наша жизнь выглядела бы как-то иначе.

Итак, чтобы мы могли построить управленческую модель производственного процесса (повторимся — именно предсказательную модель, а не сам процесс), нам необходимо знать, какие компоненты должны быть получены и в каком количестве.

За сбор данных о компонентах отвечает дендрит, каждый синапс которого будет подключен к одному из «компонентов» или предварительно собранных «комплектных узлов», т.е. к рецепторам, или другим нейронам.

А за оценку достаточности компонентов отвечают веса.

Биологический нейрон отращивает несколько дендритов, но взвешивание производится именно внутри каждого дендрита, среди его отростков. В тело нейрона дендриты поставляют уже некое готовое суждение «достаточно» или «недостаточно» по совокупности того предметного поля, которое они контролируют.

Как формируются веса

После образования связей, которые, в общем случае, возникают не случайно, а коррелируют с конкретной деятельностью (как описано в статье), на основе их инервации начинают выдвигаться гипотезы о том, что найденный компонент будет полезен для производства продукта. Подтвердится ли эта гипотеза — сообщит внешняя среда.

Здесь важно принять во внимание то обстоятельство, которое хорошо высвечивается принципами складности, но не очевидно при опоре на только лишь математическую интерпретацию: моделирование призводственных процессов связано с принципом дуализма. Людскими производственными процессами управляет два драйвера — жадность и страх. А нейронами — возбуждение и торможение. Что победит — так себя хозяин процесса и поведёт.

Поэтому каждый синапс для моделирования процессов преобразования должен иметь не один, а два веса: один вес отвечает за возбуждение и нарастает при подкреплении возбуждения. Другой вес отвечает за торможение и нарастает при подкреплении торможения. Хотя речь здесь идёт, по сути, об обратной связи систем управления, природа процессов преобразования такова, что называть эти виды подтверждения «положительным» или «отрицательным» было бы не совсем корректно, потому что они не имеют коннотации «хорошо» и «плохо» — они оба хуже.

Смысл такого подхода в том, что нам необходимо моделировать не только обстоятельства, говорящие о возможности выпуска продукта (производства действия), но и обстоятельства, говорящие о его невозможности, препятствующие ему. Поэтому односторонее, т.е. «плоложительное» или «отрицательное» подкрепление равным образом не будут достигать полного успеха.

Заряженный таким образом синапс может имитировать хорошо знакомую ситуацию «и хочется и колется», которая разрешается взвешиванием других «за» и «против». Тем не менее, оценка этой ситуации не является простой арифметической суммой, потому что сигнал, имеющий низкий вес по обоим параметрам будет не значим, не опасен. А сигнал, имеющий высокий, пусть даже равный, вес по обоим параметрам, дополнительно сообщает о том, что обязательно что-то произойдёт — «либо пан, либо пропал». Среди базовых универсальных стратегий поведения, описанных в Науке складности, существуют такие, в которых эта дилемма имеет значение, причём в разных — разное.

Очевидно, что одновременное наличие возбуждения и торможения должено приводить клетку в состояние повышенного тонуса. Тем не менее, рассмотрение весов как аналогов «заряда», или «потенциала» приведёт лишь к возможности их арифметической компенсации. Это означает, что механизм передачи информации об этих двух состояниях имеет иную природу, а именно, и наиболее вероятно — частотно-импульсную. Не исключено также использование для этой цели разных каналов, например, частотно импульсного для возбуждения и постоянного (низкочастотного) электрического или химического потенциала для торможения. Углублённый анализ данного вопроса не проводился.

Моделирование

Каждый вес вносит свой вклад в принятие решения, которое окончится выдачей сигнала через аксон на эффектор. Эффектор, в результате этого сигнала возбудится, или затормозится. Если сообщённое ему действие будет согласовано с тем усилием, которое будет приложено к действующему телу эффектора (например, мышце) извне, то потенциал, приложенный аксоном к эффектору скомпенсируется потенциалом, который сгенерирует сам эффектор при его внешней деформации. Иными словами, мы ожидаем, что бицепс руки, взявшей гирю, должен напрячься. Если мы выдали сигнал возбуждения, соответствующий взятой нагрузке, то потенциалы скомпенсируются. Это будет означать, что клетка настроена корректно.

А если нет, то либо мы потянем мышцу, либо получим гирей по лбу. Т.е., если потенциал будет недостаточен, или избыточен (т.е., мышца окажется недостаточно напряжена, или недостаточно расслаблена), то, вследствие дисбаланса потенциалов, через нейрон потечёт ток в одну, или в другую сторону, что будет для всех его проводящих цепей подкреплением либо к тому, что нужно было возбуждаться, либо к тому, что нужно было тормозить.

Соответственно, все включённые в этот момент синапсы (не зависимо — возбуждающие, ли тормозящие) будут накапливать либо память возбуждения, либо память торможения.

Можно выдвинуть предположение, что, дендрит в целом не обязательно должен иметь собственный вес по сравнению с другими дендритами клетки, поскольку, по всей вероятности, будет кодировать домен, отличный от других не количественно, а качественно. Это требует экспериментальной проверки.

Резюме

Описанная конструкция, в целом, не добавляет ничего к принципам теории автоматического управления и методу обратного распространения сигнала при обучении нейросетей. Однако, мы сочетаем оба этих предмета и даём их философскую и физиологичную интерпретацию, что позволит рассуждать о происходящем не только в математической плоскости, но и в смысловой, что и позволяет свести эти предметные области вместе и говорить о двух типах весов.

Также стоит внимания то обстоятельство, что для обучения нейросетей, реализующих описанный принцип возбуждения и торможения, будет необходима биполярная разметка выборок, дающая два типа обратной связи.