種子教師研究:10/ 7 資管系李家岩與盧信銘老師「數據科學與強化學習於數據包絡分析法」
發佈日期:2021-11-16 
瀏覽數:71
 2021-11-16 更新




種子教師研究分享:10/ 7 資管系李家岩與盧信銘老師「數據科學與強化學習於數據包絡分析法」

 

  典型的生產力分析研究,生產函數(production function)的估計是一個主流分析方法,學理上主要有兩大類別:計量經濟學的隨機前緣分析(stochastic frontier analysis, SFA)與數學規劃的數據包絡分析(data envelopment analysis, DEA)。前者為有母數的方法,假設生產函數形式,考慮噪音以基於迴歸的模型估計;後者為無母數最佳化方法,根據觀測值以分段線性(piecewise linearization)方式建構效率前緣。

  本講題以後者DEA方法為主,來探討兩件事。第一,估測生產函數數學式:由於生產函數的數學式(closed form)對於我們經濟學上的理解與解釋有所幫助,然而DEA的效率前緣並沒有提供函數形式(數學方程式),我們預期使用數據科學方法來建構DEA前緣的生產函數。第二,根據效率改善生產力決策:有鑑於如何使用效率估計的結果,來提出生產力改善與資源優化,我們建議使用強化學習來探討過去決策單位(decision-making unit, DMU)的投入產出隨時間軸的變化,來提出較好的產能決策以改善效率。

  首先,針對估測生產函數數學式,我們提出了一數據科學架構(data science framework),該架構混合基於模型(model-based)和無模型(model-free)性質的方法。基於模型的方法考慮預先確定的數學函數形式並估計函數的係數(例如迴歸的方法),以及無需先驗函數形式即可獲得模型擬合的無模型方法 (例如kNN方法)。然而,基於模型的方法易受模型不正確設定(model misspecification)的影響,而無模型方法中通常內嵌黑盒子結構使模型難以解釋且不透明。具體來說,我們使用符號迴歸(symbolic regression)來估計生產前緣,然後使用迴歸樹和多變量適應性迴歸模型(multivariate adaptive regression splines, MARS)進行殘差解釋,以提升生產函數擬合的正確性與解釋力。在生產函數模擬上,我們分別設定僅有無效率項(inefficiency)與使用複合殘差項(composite error term) (也就是無效率項加上噪音項),透過模擬數據以驗證所提出的數據科學架構。

  另一方面,在根據效率改善生產力決策,使用強化學習來決定DMU的最佳產能策略。這些DMU事先設定四種產能行動(action):產能擴張(expansion) (投入與產出皆增加)、無所作為(do nothing) (投入與產出變動幅度不大)、產能縮減(contraction) (投入與產出接減少)、與其他行動(other) (不屬於上三類的投入產出行為)。我們的實證研究使用了從 2004 年到 2019 年在美國營運 498 家燃煤和燃油發電廠收集每月的產能數據。燃煤與燃油噸數為投入項、淨發電量為產出項,我們可使用DEA來估計每個月的效率當作報酬(reward)。對於狀態(state)的定義,區分為產能狀態(capacity state)與效率狀態(efficiency state),離散化來表示各DMU目前所處狀態,以及經過行動後轉移到的狀態。根據強化學習演算法,我們可以得出最佳策略(optimal policy),一般以Q-table來呈現狀態與行動對應下的期望報酬,以優化產能決策來配置資源,提升生產效率。

  該研究試圖將數據科學與強化學習技術,與數據包絡分析法整合,以發展新的生產力分析架構,希望帶給數據包絡分析法領域有不一樣的新視野。該研究也以專章將發表於書籍”Data-Enabled Analytics: DEA for Big Data”

Lee, C.-Y., Hung, Y.-H., and Chen, Y.-W., 2021. "Hybrid Data Science and Reinforcement Learning in Data Envelopment Analysis", book chapter edited in: Zhu, J. and Charles V. (Editor), Data-Enabled Analytics: DEA for Big Data, Springer.


/洪佑鑫 撰文者