KOMPSAT-3A 기반 교차센서 시뮬레이션 학습자료를 활용한 Prithvi-EO-2.0 기반 Sentinel-2 영상 초해상화

[슬라이드 2 – 목차 / 발표 순서 안내]

• 발표는 연구배경, 연구목적, 연구방법, 연구결과, 결론의 순서로 진행.

[슬라이드 3 – 연구배경: Sentinel-2 영상의 초해상화 필요성]

• Sentinel-2는 5일의 짧은 재방문 주기와 전면 무료 개방 정책으로 전 지구적 모니터링에 최적화된 데이터.

• 그러나 10m의 공간해상도가 지닌 물리적 한계로 인해 객체 탐지나 토지 분류 등 정밀 분석에 치명적인 병목 현상이 발생.

• 해당 데이터를 2.5m급으로 초해상화할 수 있다면, 막대한 예산을 절감함과 동시에 광역적 정밀 분석이 가능.

[슬라이드 4 – 연구배경: 정답 데이터의 부재]

• Sentinel-2 영상의 초해상화를 위해서는 2.5m급 정답 영상이 필요하지만, 실제로는 10m 해상도만 존재.

• 다른 고해상도 위성 영상을 정답으로 사용할 경우, 이종 센서 간의 물리적·분광적 특성 차이가 발생.

• 이러한 특성 차이로 인해 픽셀 단위의 정밀한 정합이 불가능하여 유효한 학습 쌍으로 활용하기에 부적합.

[슬라이드 5 – 연구배경: Prithvi의 초해상화 활용]

• 기존 딥러닝 기반 초해상화는 방대한 양의 고해상도 데이터를 학습해야 한다는 한계가 존재.

• 반면 파운데이션 모델인 Prithvi는 전 지구적 지표 패턴을 사전 학습하여 뛰어난 특징 추출 능력을 보유하고 있음.

• 이를 기반으로 소량의 데이터만으로도 우수한 일반화 성능을 발휘하여 다양한 원격탐사 분야의 효과적인 대안으로 제시.

[슬라이드 6 – 연구목적 / 연구 프레임워크 검증]

• 본 연구는 고해상도 영상인 KOMPSAT-3A 시뮬레이션을 이용한 Prithvi 기반 Sentinel-2 영상 초해상화 프레임워크를 제안하고자 함.

• 제안된 프레임워크를 통해 공간적 디테일 복원과 분광 정보 보존 측면에서 유의미한 성능 향상을 달성하는지 검증하는 것이 목적.

[슬라이드 7 – 연구방법: 프레임워크 구성]

• 전체 프레임워크는 크게 두 가지 단계로 구성.

• 첫째, Sentinel-2 영상과 KOMPSAT-3A 영상 간의 센서 특성 차이를 반영한 학습 데이터셋을 구축.

• 둘째, 사전 학습된 Prithvi 인코더에 초해상화에 최적화된 디코더 및 손실함수를 결합하여 모델을 구축하고 학습을 진행.

[슬라이드 8 – 연구방법: 데이터셋 구축]

• 다양한 토지피복을 확보하기 위해 고밀도 도심(서울), 도농 혼합 지역(대전), 농경지(김제)를 대상으로 위성 영상 쌍을 확보.

• 정확한 센서 차이 반영을 위해 공통 격자 기준 투영 및 위상 상관 기법을 적용하여 서브 픽셀 수준으로 영상을 정합.

• 생성된 519쌍의 영상을 8:1:1의 비율로 Train, Validation, Test 데이터셋으로 분할하여 학습에 활용.

• 매 에포크마다 회전 및 반전 등 16가지의 무작위 공간 변환을 적용하여 데이터를 증강.

[슬라이드 9 – 연구방법: 영상 모사 흐름]

• 학습을 위한 2.5m급 Sentinel-2 영상이 부재하므로, KOMPSAT-3A(2.5m) 영상에 Sentinel-2의 센서 특성을 모사하여 가상의 10m 해상도 영상을 생성.

• 동일 영상에서 입력과 정답을 모두 도출함으로써 픽셀 단위로 완벽하게 정합된 학습 쌍을 구축.

• 특히 Sentinel-2의 실제 물리적 열화 과정을 수학적으로 재현하여, 모사 데이터로 학습된 모델이 실제 Sentinel-2 영상에도 성공적으로 적용되도록 설계.

[슬라이드 10 – 연구방법: 방사 특성 및 열화 특성 모사]

• 방사 특성 모사: 이상치를 제거하고 강건 선형 회귀(Robust Regression)를 통해 두 영상 간 선형적인 방사 관계식을 도출하여 Sentinel-2의 방사 특성을 KOMPSAT-3A에 모사.

• 열화 특성 모사: KOMPSAT-3A의 공간해상도를 Sentinel-2 수준으로 모사하기 위해 푸리에 변환으로 MTF 기반 점 확산함수(PSF)를 도출하고, 오차를 최소화하는 방향으로 파라미터를 추정하여 열화를 모사.

[슬라이드 11 – 연구방법: 모델 아키텍처]

• 모델 아키텍처는 인코더와 디코더로 나뉘며, 인코더는 Prithvi에 LoRA를 적용하여 방대한 사전 지식을 보존하면서 초해상화 도메인에 최적화되도록 구성.

• 디코더 구성 1 (Skip Connection): 저해상도 영상의 공간적 특징을 직접 전달하여 네트워크가 깊어지며 발생하는 세부 지형 정보 손실을 방지.

• 디코더 구성 2 (Hybrid Attention Block): 채널 및 공간 어텐션 메커니즘을 적용하여 해상도 복원의 핵심 영역에 집중하도록 유도.

• 디코더 구성 3 (Residual Learning): Bicubic 보간을 기저로 잔차만 예측하도록 설계하여 모델 수렴 속도 및 학습 안정성을 확보.

[슬라이드 12 – 연구방법: 손실함수 및 Ablation Study]

• 다중 손실함수를 구성하여 픽셀 단위 복원 정확도, 경계선 선명도, 분광 특성 보존을 동시에 최적화.

• 각 손실함수의 가중치(람다1, 람다2, 람다3)는 그리드 탐색을 통해 최적의 값으로 선정.

• 디코더 각 모듈의 타당성 입증을 위한 Ablation Study 결과, Skip Connection, Hybrid Attention Block, Residual Learning이 모두 결합된 모델이 최적의 성능을 발휘함을 확인.

[슬라이드 13 – 연구결과: 영상 모사 결과]

• 영상 모사 결과, 단순 보간법 대비 RMSE와 MAE 지표가 각각 62.05%, 69.3% 감소하여 정량적인 개선을 달성.

• 모사된 영상의 색감 변화 및 Sentinel-2와 유사하게 나타나는 밴드별 히스토그램 분포를 통해 시각적으로도 성공적인 모사가 이루어졌음을 확인.

[슬라이드 14 – 연구결과: 초해상화 결과 및 성능 검증]

• 초해상화 결과 PSNR이 5.5dB 향상되어 전반적인 화질이 크게 개선.

• SSIM, SAM, Edge RMSE 지표에서도 유의미한 향상이 나타나 지형지물 구조 보존 능력, 분광 특성 보존 능력, 경계 선명도 극대화 성능을 확인.

• 정성 분석 결과, Baseline(Bicubic) 대비 도로의 경계가 선명해지고 도심지의 개별 구조물 및 산림 지역의 질감이 한층 뚜렷하게 복원되는 것을 시각적으로 확인.

[슬라이드 15 – 결론 / 연구의 의의]

• 본 연구는 위성 센서의 물리적 특성을 반영한 학습 데이터셋과 Prithvi 파운데이션 모델을 결합하여, Sentinel-2(10m) 영상을 2.5m급으로 향상시키는 초해상화 프레임워크를 성공적으로 제안.

• 평가 결과 모든 지표에서 유의미한 수치 개선을 달성하였고, 공간적 디테일 복원 및 분광 정보 보존 능력을 입증.

• 원격탐사 초해상화 분야에 대규모 사전학습 모델을 도입하여 제한된 데이터만으로도 정밀한 광역 분석을 가능하게 하였다는 점에서 활용 타당성을 확보.