種子教師研究分享：10/ 7 資管系李家岩與盧信銘老師「數據科學與強化學習於數據包絡分析法」

　　典型的生產力分析研究，生產函數(production function)的估計是一個主流分析方法，學理上主要有兩大類別：計量經濟學的隨機前緣分析(stochastic frontier analysis, SFA)與數學規劃的數據包絡分析(data envelopment analysis, DEA)。前者為有母數的方法，假設生產函數形式，考慮噪音以基於迴歸的模型估計；後者為無母數最佳化方法，根據觀測值以分段線性(piecewise linearization)方式建構效率前緣。

　　本講題以後者DEA方法為主，來探討兩件事。第一，估測生產函數數學式：由於生產函數的數學式(closed form)對於我們經濟學上的理解與解釋有所幫助，然而DEA的效率前緣並沒有提供函數形式(數學方程式)，我們預期使用數據科學方法來建構DEA前緣的生產函數。第二，根據效率改善生產力決策：有鑑於如何使用效率估計的結果，來提出生產力改善與資源優化，我們建議使用強化學習來探討過去決策單位(decision-making unit, DMU)的投入產出隨時間軸的變化，來提出較好的產能決策以改善效率。

　　首先，針對估測生產函數數學式，我們提出了一數據科學架構(data science framework)，該架構混合基於模型(model-based)和無模型(model-free)性質的方法。基於模型的方法考慮預先確定的數學函數形式並估計函數的係數(例如迴歸的方法)，以及無需先驗函數形式即可獲得模型擬合的無模型方法 (例如kNN方法)。然而，基於模型的方法易受模型不正確設定(model misspecification)的影響，而無模型方法中通常內嵌黑盒子結構使模型難以解釋且不透明。具體來說，我們使用符號迴歸(symbolic regression)來估計生產前緣，然後使用迴歸樹和多變量適應性迴歸模型(multivariate adaptive regression splines, MARS)進行殘差解釋，以提升生產函數擬合的正確性與解釋力。在生產函數模擬上，我們分別設定僅有無效率項(inefficiency)與使用複合殘差項(composite error term) (也就是無效率項加上噪音項)，透過模擬數據以驗證所提出的數據科學架構。

　　另一方面，在根據效率改善生產力決策，使用強化學習來決定DMU的最佳產能策略。這些DMU事先設定四種產能行動(action)：產能擴張(expansion) (投入與產出皆增加)、無所作為(do nothing) (投入與產出變動幅度不大)、產能縮減(contraction) (投入與產出接減少)、與其他行動(other) (不屬於上三類的投入產出行為)。我們的實證研究使用了從 2004 年到 2019 年在美國營運 498 家燃煤和燃油發電廠收集每月的產能數據。燃煤與燃油噸數為投入項、淨發電量為產出項，我們可使用DEA來估計每個月的效率當作報酬(reward)。對於狀態(state)的定義，區分為產能狀態(capacity state)與效率狀態(efficiency state)，離散化來表示各DMU目前所處狀態，以及經過行動後轉移到的狀態。根據強化學習演算法，我們可以得出最佳策略(optimal policy)，一般以Q-table來呈現狀態與行動對應下的期望報酬，以優化產能決策來配置資源，提升生產效率。

　　該研究試圖將數據科學與強化學習技術，與數據包絡分析法整合，以發展新的生產力分析架構，希望帶給數據包絡分析法領域有不一樣的新視野。該研究也以專章將發表於書籍”Data-Enabled Analytics: DEA for Big Data”。

Lee, C.-Y., Hung, Y.-H., and Chen, Y.-W., 2021. "Hybrid Data Science and Reinforcement Learning in Data Envelopment Analysis", book chapter edited in: Zhu, J. and Charles V. (Editor), Data-Enabled Analytics: DEA for Big Data, Springer.