논문리뷰) Learning data driven discretizations for partial differential equations

 

 

 

 

Learning data driven discretizations for partial differential equations

 

배경

 

머신러닝 디자인패턴 4장 모델 학습 디자인패턴 읽던 중 과적합이 사용될 수 있는 사례에 대한 설명을 읽었습니다. 닫힌 해가 없는 경우 즉 데이터가 현실을 100% 반영할 수 있는 경우 계산 overhead 극복을 위해 ML 설계가 도움이 되는데, 이때 과적합이 더 적합하다는 내용을 읽었습니다. 또한 uniform approximation theorem 에서 하나의 hidden layer 와 activation function 이 있는 Network 에 의해 근사될 수 있다는 실험이 많이 증명되었습니다. 이의 연장선으로 조금 뒤 현실세계에서는 모든 입력을 테이블로 만드는 것이 불가능한 경우가 많으니 입력 공간을 샘플링해서 데이터를 만들어내는 몬테카를로 접근방식을 제안했습니다.

 

그리고 몬테카를로 방법 대신 머신러닝을 활용한다면 PDE 의 데이터 기반 이산화를만들어낼 수 있다고 합니다. 즉, 현실세계의 현상을 모델링하는 PDE 를 직접만들지 말고 머신러닝을 활용해서 확보된 데이터필드를 어떻게 섞어야하는지를 학습시키는 것 입니다. 함수없이 함수에 근사시키려는 노력입니다. 

 

그리고 본 포스팅에서 리뷰할 논문이 바로 이에 대한 효과를 잘 보여준 Learning data driven discretization for partial differential equations 입니다. 

 

요약

PDE 의 수치적 솔루션은 다차원의 시공간적 피처들을 잘 해결하지 못합니다. ( 차원의 저주 ) 이걸 해결하려면 너무 많은 양의 계산이 필요하기 때문인데요. 기존의 유일한 방법은 좀 제대로하지 못할지라도 근사시키려고 노력하는 것 입니다. 근데 물론 그것도 어마어마하게 어렵습니다. 그래서 해당 논문에서는 현상에 PDE 를 근사시키는 것이 아니라 data driven 방정식을 제안합니다. PDE를 일반적으로 알려진 방정식에 기반해서 neural network 를 사용해 차원의 저주 문제를 해결할 방법입니다.

다시 정리하자면 기존 PDE 문제를 해결할 때 접근은 잘 정의된 PDE를 얼마나 정확하게 근사시킬 것인지 였지만, 이제는 PDE를 정확하게 근사하지 않고 이산화된 연산자를 데이터에 기반해 학습시키자는 관점입니다.

일반적으로 대부분의 물리현상은 PDE 로 표현할 수 있고 시간에 따라서 변하는 연속적인 물리량은 아래와 같이 나타낼 수 있습니다. 문제는 이걸 컴퓨터로 풀어내는 방법인데요,

 

 

컴퓨터는 연속적인 데이터를 직접 다룰 수 없기 때문에 우리가 인지할 수 있는 grid 위에 이산적으로 표시하게 됩니다. 그리고 최대한 연속적으로 다루려고 노력하지요. 이때 유한차분 (FD) 을 통해서 시간에 대한 ODE Form 으로 바뀌게 됩니다.

 

 

여기서 F 는 이제 이것들을 gird 주변의 값들로 근사해야 하는데,

여기서 a(i)^n 을 신경망으로 학습해서 국소적 구조에 따라 현실에 다가가도록 설계하는 것 입니다. 고해상도 시뮬레이션 데이터로 학습 데이터를 만들고 해당 식에 등장하는 미분항들의 이산근사식( 여기서는 sigma alpha ^ n v(i) ) 을 학습합니다. 이 과정이 계산비용 측면에서의 트레이드 오프를 만드는데 이건 전체 필드가 아닌 작은 부분에서 고해상도 시뮬레이션 데이터를 추출해 완화할 수 있습니다. 이렇게 하면 훨씬 큰 시스템에[서도 낮은 공간에서 얻은 데이터로 계산할 수 있습니다.

→ 작은 지역에서 solution manifold 위의 실제 현상을 잘 근사하면 , 그 국소적 이산화 규칙(ML 모델)이 더 큰 시스템에서도 재사용 가능하다고 하는 것 입니다. 그러니까 중요한 것은 완벽한 적합이 아니라 국소 영역에서 실제 물리계의 역학 상태를 잘 포착(근사)하는 것입니다.

실제로 신경망을 활용해 실제 현상에 기여하는 비교를 해보면 방정식으로 근사하는 것보다 성능이 더 좋다고 주장합니다.

 

기여도

이 논문의 가장 큰 기여는 PDE 해법 자체가 아니라, PDE 이산화를 학습의 대상으로 재정의했다는 점입니다. 기존 수치해석은 미분 연산자를 보편적으로 근사하려고 시도했는데요, 본 연구는 해가 실제로 존재하는 solution manifold 위에서만 유효한 국소 이산화 규칙을 데이터로부터 학습합니다.

구체적으로는 다음과 같은 기여가 있습니다.

첫째, equation-specific discretization이라는 개념을 명확히 제시합니다. 유한차분 계수는 보편적이어야 한다는 기존 관점에서 벗어나, 방정식과 국소 상태에 따라 달라지는 이산화 계수를 허용함으로써 under-resolved 조건에서도 높은 정확도를 달성합니다.

둘째, solution manifold 기반 학습 관점을 제시합니다. 신경망은 전체 함수 공간을 근사하는 것이 아니라, 물리적으로 가능한 해가 놓이는 저차원 다양체(manifold)만을 파라미터화합니다. 이로 인해 격자 해상도를 낮추더라도 실제 물리적 동역학을 유지할 수 있음을 보입니다.

실험결과

본 논문에서는 데이터 기반 이산화가 실제 PDE 문제에서 기존 수치해석보다 얼마나 뛰어난지 보이기 위해 여러 대표적 비선형 PDE를 대상으로 실험을 수행했습니다. 그중 가장 중요한 것은 1차원 Burgers’ equation인데요, 이 방정식은 간단하지만 충격파(shock) 형성과 같은 복잡한 비선형 현상을 포함해 수치적 근사가 어렵다는 점에서 이상적인 테스트베드입니다.

burger’s equation 은 아래와 같이 쓰입니다.

 

burger’s equation 은 해상도를 많이 낮춘 경우에도 발산하지 않고 오차가 줄어들었으며 충격파의 위치화 형태를 안정적으로 적분했습니다. 신경망이 충격파와 같은 비선형적이고 예측하기 힘들보이는 비선형PDE에서도 그 구조를 잘 반영했기 때문입니다.

이 실험으로 추가적으로 학습 도메인보다 훨씬 큰 도메인에서도 잘 작동함을 증명했습니다. 논문을 읽으며 초반에 국소적 영역의 실제 데이터로만 학습시켰는데, 과연 모든 영역에서 잘 작동할까? 걱정했지만, trainig domain 보다 10배 더 큰 공간에서도 burger’s equation 을 풀어보았음에도 잘 작동하여 일반화 했음을 보여줍니다.

결론은 실험결과를 통해 데이터 기반 이산화가 전통적 수치해법보다 정교하고 쉬우며 안정적이라는 것을 보여줍니다.

 

 

향후 연구 방향 

연구에서는 두가지 챌린지가 남아있다고 합니다.

첫번째로, 속도입니다. FD 를 구현할 때 많은 convolution 연산을 사용합니다. 저자들은 이것보다 다른 머신러닝 접근법이 훨씬 더 빠를 수 있다고 생각하고 있고, pre-trained linear filter 가 수십배 이상의 성능 향상을 보인바가 있습니다.

두번째는 고차원 문제와 higher dimensional problem 입니다. 2,3차원에서는 dimension 이 제곱, 세제곱으로 커지니 연산 overhead 를 더욱 줄여 이득을 기대할 수 있습니다.