Optimization of Prototype Filters for QAM-FBMC Communication Systems

Abstract

본 논문에서는 QAM-FBMC 시스템의 설계에 대해 논의한다. 본 논의의 핵심에는 Balian-Low 정리에 의해 부과된 필터 설계 시의 제한 사항이 자리한다. Balian-Low 정리는 송신 및 수신 필터 쌍이 복소 영역에서의 (배)직교성, 우수한 시간·주파수 국소화, 시간·주파수 심볼 밀도 임계값을 동시에 달성할 수 없음을 암시한다. 본 논문은 이러한 본질적인 제한 사항에 대응하기 위해 시간·주파수 심볼 밀도 제한을 완화함으로써, 높은 스펙트럼 효율성과 낮은 자기 간섭을 제공하는 두 종류의 저복잡도 시스템을 제안한다. 첫째, 주파수 영역에서 희소성이 있는 수신 프로토타입 필터를 사용하는 QAM-FBMC 시스템을 제안한다. QAM-FBMC 시스템의 간섭 억제 능력과 관련하여 Balian-Low 정리에 의해 부과된 제한 사항을 회피하기 위해, 제안된 시스템은 시간·주파수 심볼 밀도 제한을 완화함과 동시에, 수신기에서의 시간 영역 국소화 제한을 완화한다. 구체적으로 PHYDYAS 필터는 송신 프로토타입 필터로 사용되며, 송신 필터와 불일치하는 다른 필터가 수신 프로토타입 필터로 사용된다. PHYDYAS 필터는 우수한 스펙트럼 국소성을 가지므로, 시간·주파수 심볼 밀도의 손실을 잘 보상하여 다중 사용자 상향 링크에서 기존 시스템보다 높은 스펙트럼 효율성을 달성할 수 있게 해 준다. 수신기는 확장된 관측 윈도우를 사용하며, 등화기와 별도로 분리되어 있는 희소 고정 필터를 사전 계산하여 사용함으로써 복잡도를 낮춘다. 자기 간섭을 최소화하는 저복잡도 수신 프로토타입 필터를 찾기 위해, ℓ₀-놈 측면에서 주파수 영역 희소성 제약 조건을 가한 배직교 기준 조건을 기반으로 최적화 문제가 제시된다. 이 문제의 해를 효율적으로 찾기 위해, 문제 크기를 축소하여 수치적으로 처리 가능하게 하는 수정된 완화 LASSO 알고리즘이 사용된다. 수치 결과 및 이에 따른 논의는 제안된 QAM-FBMC 시스템이 성능과 복잡도 사이에서 탁월한 균형을 이루었음을 보여준다. 둘째, 송신과 수신 프로토타입 필터를 공동으로 최적화하여 자기 간섭을 더욱 줄이는 개선된 QAM-FBMC 시스템을 제안한다. 수신 프로토타입 필터의 희소성 제약 조건을 제거하여도 수신기의 복잡도가 크게 증가하지 않도록 새로운 다상 네트워크 기반 구조를 도입한다. 필터 공동 최적화는 높은 스펙트럼 국소성을 위한 송신 프로토타입 필터의 감쇠율 제약 하에 근사 신호 대 간섭·잡음비 최대화로 수식화되고, 이어서 선형 탐색으로 변환된다. 후처리 신호 대 잡음비의 하한을 검색 매개변수로 하여, 각 매개변수 값에 대해 신호 대 간섭비를 최대화하는 것을 목적으로 송수신 프로토타입 필터가 최적화된다. 선형 탐색은 신호 대 간섭·잡음비의 포화 지점에서 중단되며, 이 지점에서 얻은 고정된 송신 및 수신 필터 쌍이 모든 신호 대 잡음비 범위에서 사용된다. 수치 결과는 다상 네트워크 기반 구조와 최적화된 프로토타입 필터 쌍의 결합이 QAM-FBMC 시스템으로 하여금 효율적인 스펙트럼과 낮은 복잡도뿐만 아니라 매우 낮은 자기 간섭을 달성 가능토록 함을 보여준다.

In this dissertation, the design of quadrature amplitude modulation (QAM) filter-bank multicarrier (FBMC) systems is discussed. Central to this discussion are the limitations imposed by the Balian-Low theorem, which implies that transmitter (TX) and receiver (RX) filters cannot simultaneously achieve complex (bi-)orthogonality, excellent time-frequency (TF) localization, and a TF symbol density of unity. In response, this dissertation proposes two types of low-complexity systems designed to address these inherent limitations by slightly relaxing the TF symbol density, thus achieving high spectral efficiency and reduced self-interference. First, a QAM-FBMC system is proposed, featuring an RX prototype filter characterized by sparsity in the frequency domain. To circumvent the limitations imposed by the Balian-Low theorem on the interference suppression capability of QAM-FBMC systems, the proposed system relaxes not only the TF symbol density but also time-domain localization at the RX. The PHYDYAS filter is employed as a TX prototype filter, and a filter mismatched to the TX filter is employed as an RX prototype filter. Since the PHYDYAS filter has excellent spectral confinement, its use effectively compensates for the loss in the TF symbol density and leads to higher spectral efficiency than the conventional systems in multi-user uplink. The RX has an extended observation window and a separate equalizer followed by a fixed pre-computed filter. To find the RX prototype filter that minimizes the self-interference, an optimization problem is formulated based on a bi-orthogonality condition, subject to the frequency-domain sparsity constraint in terms of the ℓ₀-norm. To efficiently search for the solution, a modified relaxed least absolute shrinkage and selection operator (LASSO) procedure is proposed, where the size of the problem is reduced to make the problem numerically tractable. Numerical results and discussions show that the proposed QAM-FBMC system strikes an excellent balance between performance and complexity. Second, an improved QAM-FBMC system to further reduce self-interference by jointly optimizing the TX and RX prototype filters is proposed. A new polyphase network (PPN)-based structure is introduced to keep the complexity at the receiver (RX) nearly the same level, even without the sparsity constraint on the RX prototype filter. The joint optimization of the filters is formulated as an approximate signal-to-interference-plus-noise ratio (SINR) maximization and converted to a line search, under the constraint on the fall-off rate of the TX prototype filter for high spectral confinement. For each search-parameter value which is a lower bound on the post-processing signal-to-noise ratio (SNR), the prototype filters are optimized to maximize the signal-to-interference ratio (SIR). The line search stops at a saturation point of the SINR, and the pair of fixed TX and RX filters obtained at the point is used for all SNR ranges. Numerical results show that the prototype filters combined with the PPN-based structure achieve very low self-interference and lead to a spectrally-efficient low-complexity QAM-FBMC system.