Предположим, что требуется разделить два непересекающихся образа V₁ и V₂. Это значит, что в пространстве изображений существует, по крайней мере, одна функция, которая полностью разделяет множества, соответствующие образам V₁ и V₂. Эта функция должна принимать положительные значения в точках, соответствующих объектам, принадлежащим образу V₁, и отрицательные — в точках образа V₂. В общем случае таких разделяющих функций может быть много, тем больше, чем компактней разделяемые множества. В процессе обучения требуется построить одну из этих функций, иногда в некотором смысле наилучшую.

Метод потенциальных функций связан со следующей процедурой. В процессе обучения с каждой точкой пространства изображений, соответствующей единичному объекту из обучающей последовательности, связывается функция U(X, X_i), заданная на всем пространстве и зависящая от X_i как от параметра. Такие функции называются потенциальными, так как они напоминают функции потенциала электрического поля вокруг точечного электрического заряда. Изменение потенциала электрического поля по мере удаления от заряда обратно пропорционально квадрату расстояния. Потенциал, таким образом, может служить мерой удаления точки от заряда. Когда поле образовано несколькими зарядами, потенциал в каждой точке этого поля равен сумме потенциалов, создаваемых в этой точке каждым из зарядов. Если заряды, образующие поле, расположены компактной группой, потенциал поля будет иметь наибольшее значение внутри группы зарядов и убывать по мере удаления от нее.

Обучающей последовательности объектов соответствует последовательность векторов X₁, X₂, …, в пространстве изображений с которыми связана последовательность U(X, X₁), U(X, X₂), … потенциальных функций, используемых для построения функций f(X₁, X₂, …). По мере увеличения числа объектов в процессе обучения функция f должна стремиться к одной из разделяющих функций. В результате обучения могут быть построены потенциальные функции для каждого образа:

, , (ф. 1)

В качестве разделяющей функции f(X) можно выбрать функцию вида:

, (ф. 2)

которая положительна для объектов одного образа и отрицательна для объектов другого.

В качестве потенциальной функции рассмотрим функцию вида

, (ф. 3)

где j _j(X) — линейно независимая система функций; l _j — действительные числа, отличные от нуля для всех j = 1, 2, … ; X_i — точка, соответствующая i-му объекту из обучающей последовательности. Предполагается, что j _j(X) и U(X, X_i) ограничены при XI V₁ E V₂; y _j (X)=l _{jj j}(X).

В процессе обучения предъявляется обучающая последовательность и на каждом n-м такте обучения строится приближение f_n(X) характеризуется следующей основной рекуррентной процедурой:

, (ф. 4)

Разновидности алгоритмов потенциальных функций отличаются выбором значений q_n и r_n, которые являются фиксированными функциями номера n. Как правило, q_n? 1, а r_n выбирается в виде:

, (ф. 5)

где S(f_n, f) — невозрастающие функции, причем

(ф. 6)

Коэффициенты g _n представляют собой неотрицательную числовую последовательность, зависящую только от номера n. Кроме того,

и (например, g _n=1/n) или g _n=const.

Разработано несколько вариантов алгоритмов потенциальных функций, различие между которыми состоит в выборе законов коррекции разделяющей функции от шага к шагу, т. е. в выборе коэффициентов r_n. Приведем два основных алгоритма потенциальных функций.

1. Будем считать, что f₀(X)? 0 (нулевое приближение). Пусть в результате применения алгоритма после n-го шага построена разделяющая функция f_n(X), а на (n+1)-м шаге предъявлено изображение X_n+1, для которого известно действительное значение разделяющей функции f(X_n+1). Тогда функция f_n+1(X) строится по следующему правилу:

(ф. 7)

2. Во втором алгоритме также принимается, что f₀(X)? 0. Переход к следующему приближению, т. е. переход от функции f_n(X) к f_n+1(X), осуществляется в результате следующей рекуррентной процедуры:

(ф. 8)

где l — произвольная положительная константа, удовлетворяющая условию l =(1/2)? max(X, X_i).

Если в (ф. 3) принять

,

и предположить, что x_v может иметь только два значения 0 и 1, то в этом случае алгоритм потенциальных функций будет совпадать со схемой перцептрона с индивидуальными порогами А-элементов и с коррекцией ошибок. Поэтому многие теоретические положения метода потенциальных функций могут быть успешно применены для анализа некоторых перцептронных схем.