Polynomial Theory of Complex Systems

PAPER EDITOR'S PREFACE

• this paper의 algorithm은 일반적으로 2차 다항식을 사용함
• 각 요소가 일반적으로 2개의 입력을 받아들임
• \( y = A_{2}(X) = a_{0} + a_{1}x_{1}+a_{2}x_{2}+a_{3}x_{1}^{2}+a_{4}x_{2}^{2}+a_{5}x_{1}x_{2} \)
• \( A_{2}(X) \) 는 input의 차수가 2라는 뜻

GMDH using second-degree polynomials

1. first threshold self-selection; 
2. second threshold self selection; 
3. selection from all solutions; 
4. threshold optimization.

• threshold를 사용하여 harmful한 요소를 버리는 방식을 택하여 \( x_{i} \) 에 맞는 multinomial fit를 찾음
• hypothesis 1 : composite control systems (복합 제어 시스템)이 시스템 요소 전체를 제어하는 신호를 기반으로 해야함
• hypothesis 2 : 인공두뇌학에서 주의깊게 연구되어야 함

Example ; selection

• the goal : 특정 특성을 가진 식물을 얻기

1. 얻고자하는 특성을 가질 수 있는 식물 파종(elementary algorithms)
2. fisrt crossing 발생 (a generation of combinations of first complexity); 첫번째 복잡성의 조합; 1세대
3. 1세대 수확하여 일정 씨앗 선택(first threshold self-selection); goal에 가까운 식물의 씨앗 선택됨, 선택된 식물 파종 (a generation of combinations of second complexity); 두번째 복잡성의 조합; 2세대
4. 2세대 수확하여 특정 씨앗 선택(second threshold self selection)

• selection process 규칙
  • 각 세대마다 일정한 수의 씨앗을 뿌림 (수를 달리하면 속도가 느려짐)
  • 한 세대에서 selection을 완료할 수 없고 최소 3, 4세대가 필요함 (세대가 길어지면 성능이 떨어짐)

Perceptron algorithm

• selection process 규칙과 똑같음
• 최적의 조합이 선택되어 next layer로 가면서 구조가 더 복잡해짐
• complex problems에서 최소 3~4의 layer가 필요하고 accuracy를 통해 최적의 모델을 찾아야함 
• degeneration를 막기 위해서는 퍼셉트론의 모든 층의 데이터를 기반으로 best solution을 찾아야 함

The six coefficients of each element (각 요소의 계수 구하기)

• 첫번째 layer가 \( A_{2}(X) \)의 기능을 구현함
• Input : \( X_{n} = (x_{n1}, \ldots ,x_{np}), n = 1, \ldots ,N \), Output : \( \phi_{n} \)
• \( \phi_{1} = a_{0}+a_{1}x_{1i}+a_{2}x_{1j}+a_{3}x_{1i}^{2}+a_{4}x_{1j}^{2}+a_{5}x_{1i}x_{1j} \)
• \( \phi_{N} = a_{0}+a_{1}x_{Ni}+a_{2}x_{1j}+a_{3}x_{Ni}^{2}+a_{4}x_{Nj}^{2}+a_{5}x_{Ni}x_{Nj} \)

 

\( \Phi :order = N \times 1, 
X : order = N \times 6,
A : order = 6 \times 1\)

• \( \Phi =XA \)
• \( X^{t} \Phi = (X^{t}X)A \)
• \( A = (X^{t}X)^{-1}X^{t} \Phi \)

---

Abstract

• hypersurface - hypothesis function
• A complex multidimensional decision hypersurface은 polynomials  input으로 approximate 될 수 있음
• hypersurface는 여러 백터의 간단한 함수로 표현됨
• 입출력을 approximate하기 위해 쓰인 method는 multilayered perceptronlike network structure임
• threshold는 hypersurface에 적합한 다항식을 식별하기 위해 쓰이고 each layer에 존재함
• input properties 중 최상의 combinations이 다음 layer에 전달됨
• network의 each layer는 두개의 입력으로 비선형 함수를 구현함

multilayered structure가 해결하는 4가지 문제

• dataset을 조금만 써도 됨
• 계산 부담이 감소함
• 필요없는 특성을 자동으로 필터링함
• 높은 수준의 다항식을 구현할 수 있음

---

1. INTRODUCTION

• 미분방정식을 기반으로 하는 모던제어이론은 복잡한 제어 시스템의 문제를 해결하기에 적합하지 않음
• 입출력 경로를 추적해야하는데 추적하는 것이 어렵기 때문에 a deductive deterministic approach를 사용할 수 없음
• heuristic self-organization이 문제를 푸는데 도움이 될 것 같음
  • 휴리스틱 heuristic - 제한적으로 주어진 상황에서 문제를 해결하기 위해 사용하는 직관적 방식

heuristic self organization approach

• 위의 example ; selection의 예시를 또 들고오자면 어떠한 식물이 특정 특성을 가지고 있는지 모르기에 가능한 모든 입출력 조합을 생성하고 비교함. Self-organization이란 threshold self-selections를 사용하는 것(수학적 조합 방법과, 다양한 휴리스틱 기준)
• "Examinations" of the threshold type는 식물 선택에서 널리 사용됐음. 원하는 식물을 얻기 위해 특성이 더 뚜렷한 세대를 선택하는 것
• 입력에 대한 수학적 복잡성은 세대(layer)마다 증가해야함
• 다항식을 기본으로 사용하고 베이즈 식을 이용하여 확률 등을 얻음

---

2. POLYNOMIAL DESCRIPTIONS: THE BASIC MEANS OF THE NEW THEORY

• 이전의 The formulas of a predictive model은 미래 값 예측에만 쓰였음
• The polynomial theory은 the general investigation of complex dynamic systems(복잡한 동적 시스템의 general 구하기)로 쓰임
• predictive polynomial은 output을 input과 열결하는 regression equation임

polynomial theory

• 해결
  • 입출력의 complexity을 설명할 방법을 찾음
• advantages
  • polynomial 자체가 질문의 해답이기에 초기 조건과 해답에 대한 정보가 필요하지 않음
  • statics와 dynamics가 구별되지 않음 (정태와 역학)
  • The aforementioned regression analysis을 미분 계수를 추정하기 위해 사용할 필요가 없음
    • polynomial을 통해 직접 사용한다 ( 계산량이 줄어듦)
• 정리 : polynomial을 사용하면 polynomial이 최적의 복잡도를 가지는 모델이고 이에 해당하는 비선형 미분 방적식을 찾는 것은 불가능함

---

3. APPLICATION OF THE POLYNOMIAL THEORY TO DETERMINISTIC SYSTEMS

• deterministic system에 대해서 polynomial theory를 사용하는 것에 대한 장점을 명확하지는 않지만 필수적으로 사용해야함
• polynomial theory를 통해 최적화된 방정식을 찾을 수 있으며 non-linear system의 구조 변환을 단순하게 만들 수 있음
• lag differences 를 통해 predicting equation을 얻음
• lead differences를 통해 control equation을 얻음
  • control equation은 변수의 output값을 포함하지만 predictiong equation은 포함하지 않음
  • predicting equation은 output값을 예측하는데 사용함
• input \(x\)와 output \(y\)의 predicting equation
  • \( y_{F} = F_{1}(y_{F-1},y_{F-2},y_{F-3}, \ldots ,x_{F-1},x_{F-2},x_{F-3}, \ldots ) \)
• input \(x\)와 output \(y\)의 control equation
  • \( y_{F} = F_{2}(y_{F-1},y_{F-2},y_{F-3}, \ldots ,x_{F-1},x_{F-2},x_{F-3}, \ldots ) \)
• 가장 simplest 한 optimaization equation
  • \( \frac{ \partial y_{F}}{ \partial x_{F}}  \)

---

4. RULES OF STRUCTURE TRANSFORMATION

The system control equation 구하는 법

•