应用不同机器学习算法预测化学链中氧载体性能

阎永亮1，查健锐1,2，段伦博2，CLOUGH Peter1

(1.英国克兰菲尔德大学 能源与动力学院，贝德福德 MK43 0AL；2. 东南大学 能源热转换及其过程测控教育部重点实验室，江苏 南京 210096)

摘 要:低成本和高性能的氧载体材料筛选是化学链技术未来商业应用的关键。超过1 000种材料被作为氧载体在化学链条件下进行测试。其中，矿石和工业副产品作为氧载体最近引起关注，其成本低、供应方便，特别是与固体燃料具有充分的反应性。然而，这些材料具有高度可变的成分，影响其在化学链中的性能，采用试验方法逐个测试成本巨大。运用新兴的机器学习算法，以天然锰矿为对象，将已有的试验数据作为训练集，预测含锰矿物在化学链反应中的性能，并对比支持向量机和人工神经网络2种算法在预测过程中的表现。结果显示，这2种算法对训练集内的数据均有较好准确性，但对新输入值预测的准确性、鲁棒性方面存在差异。支持向量机可以避免神经网络在小样本训练集下存在的过度拟合现象。灵敏度分析表明氧载体锰含量变化对反应特性的影响较大，而比表面积的影响较小。

关键词:化学链燃烧；氧载体；机器学习；人工神经网络；支持向量机

中图分类号:TQ53；TK114

文献标志码：A

文章编号:1006-6772(2021)02-0220-05

收稿日期:2020-09-30;责任编辑:白娅娜

DOI:10.13226/j.issn.1006-6772.CCUS20093003

作者简介:阎永亮(1992—)，男，河北唐山人，博士研究生，研究方向为碳捕集、富氧燃烧、化学链以及人工智能在能源化工领域的应用。

通讯作者：段伦博，教授，从事洁净煤技术、大气污染控制和固体废弃物处理、二氧化碳减排以及先进能源材料研究。E-mail：duanlunbo@seu.edu.cn

引用格式:阎永亮，查健锐，段伦博,等.应用不同机器学习算法预测化学链中氧载体性能[J].洁净煤技术，2021,27(2):220-224.YAN Yongliang，ZHA Jianrui，DUAN Lunbo，et al.Applying different machine learning algorithms to predict the performance of oxygen carriers in chemical-looping[J].Clean Coal Technology，2021,27(2):220-224.

Applying different machine learning algorithms to predict the performance of oxygen carriers in chemical-looping

YAN Yongliang1，ZHA Jianrui1,2，DUAN Lunbo2，CLOUGH Peter1

(1.School of Water,Energy and Environment,Cranfield University,Cranfield,Bedfordshire MK43 0AL,UK.; 2.Key Laboratory of Energy Thermal Conversion and Control of Ministry of Education,Southeast University,Nanjing 210096,China)

Abstract:Developing high-performance and low-cost oxygen carrying materials is the key to the future commercial application of chemical-looping processes. Over 1 000 materials have been tested as the oxygen carriers for chemical-looping processes. Among them,ores and industrial by-products as oxygen carriers have recently attracted much attention recently due to their low cost and availability,especially the sufficient reactivity with the solid fuels. However,these materials have highly variable compositions,which strongly influences the performance in chemical-looping. It costs a lot to test one by one. Taking natural manganese ore as the object,and taking the existing experimental data as the training set,the new machine learning algorithm was used to predict the performance of manganese bearing minerals in chemical chain reaction,and compare the performance of support vector machine and artificial neural network in the prediction process. The results show that the two algorithms have good accuracy for the data in the training set,but there are differences in the accuracy and robustness of the new input value prediction. Support vector machine can avoid the over fitting phenomenon of neural network in small sample training set. The sensitivity analysis shows that the change of manganese content in oxygen carrier has a great influence on the reaction characteristics,while the effect of specific surface area is small.

Key words:chemical-looping combustion;oxygen carriers;machine learning;artificial neural network;support vector machine

0 引 言

煤、生物质和天然气等碳基燃料燃烧是碳排放的重要组成部分，其燃烧产生的CO2亟待高效分离和存储。化学链燃烧和氧解偶化学链燃烧是最前沿的热电生产方法之一，可低成本和低能耗实现CO2分离。化学链反应在双流化床反应器中进行，氧气通过氧气载体从空气反应器输送到燃料反应器，烃类燃料被氧载体或氧载体释放的氧气氧化，生成CO2和水，之后氧载体在空气反应器中再生。

化学链技术发展的关键环节之一是根据成本、氧传递能力和循环稳定性选择合适的氧载体材料。相比纯金属氧化物和合成金属氧化物外，天然矿物和工业副产矿物由于廉价易得和较高活性而引起关注[1-3]。其中，锰基材料在高温下有向气相释放氧气的倾向，同时大量研究表明很多种类的锰矿石对不同气体燃料具有高反应活性，同时磨损率和成本较低，使其成为氧载体的潜在候选材料[4-5]。然而，这些矿物具有复杂多变且非均相的成分，且含有各种杂质，因此性能可能有很大差异。

机器学习是一种人工智能技术，通过统计方式提高模型计算性能，可分为有监督、无监督和强化学习。其中，经过学习启发的人工神经网络(ANN)在人脑行为研究中获得广泛应用，包括控制、机器人、模式识别、预测、医学、电力系统、制造、优化、信号处理和社会/心理科学等[6]。人工神经网络可作为一个黑箱，在给定一组输入数据后，从历史数据中学习并处理不同目的的任务，如预测、分类和模式识别[7]。

最近，有研究运用人工神经网络辅助碳捕集技术，该研究针对燃烧后胺基固碳反应的过程建模与控制[8-10]。也有研究者提出采用神经网络算法大规模筛选材料以辅助试验研究来开发新的钙循环化学链工艺。但机器学习算法目前还未广泛应用于化学链工艺的氧载体选材。为减少了材料开发的时间和成本，可以尝试使用机器学习算法挖掘历史试验数据，并对其进行可行性评估，这将有助于获得优选的氧载体参数。对于复杂材料，通过传统表征手段获得的材料性质及参数是机器学习重要的数据来源。据此，本文运用不同的机器学习算法预测多组分锰基氧载体的化学链反应性能，对照已有试验数据，评估不同算法在该应用中的表现，针对化学链氧载体筛选这一科学问题寻找更有效的机器学习模式。

1 机器学习在氧载体中的应用

低成本、高活性的氧载体是决定化学链技术能否工业规模化应用的关键因素之一。过去20年，超过1 000多种氧载体材料在实验室热重、固定床和流化床模拟条件下进行测试与筛选。这些氧载体可分为单一(镍基、铁基、铜基和锰基)和复合(2种及以上不同金属氧载体)组分氧载体。此外，助剂和载体等惰性组分对氧载体的性能影响很大。除了开发高活性和耐磨损的氧载体以适应工业规模化需求外，寻求低成本氧载体，尤其利用廉价的天然矿石或可再生工业废弃物作为氧载体对于推广化学链技术应用有重要意义，将在煤或生物质化学链转化方面有明显优势。由于这类原料廉价，且具有足够的反应活性和机械强度，不会造成氧载体失活以及灰分与氧载体分离[11-14]。但其组成成分不同可能会对化学链反应产生很大影响。但在如此众多的材料中逐一筛选测试，将带来巨大的试验成本。

机器学习是一门结合计算机科学、统计学、数学与工程学的交叉学科。利用已知数据，在特定的算法指导下进行自动优化并改进模型，使之可以对新的输入值进行判断与预测。因此，提出一种新颖高效的筛选方法，结合已有氧载体试验数据，应用机器学习加速新氧载体材料的开发。前期研究[15]讨论了如何训练人工神经网络用于预测不同锰矿石在化学链反应的性能，结果显示神经网络对照试验数据的预测较为准确，但选择合适的算法与避免过度拟合具有一定难度，需要大量前期调试工作。因此本文尝试分别使用支持向量机和人工神经网络2种常用的机器学习算法建模，预测天然锰矿石作为氧载体的反应性能，并评估不同算法在该应用中的表现，针对化学链氧载体筛选这一科学问题寻找更有效的机器学习模式，具体工作流程如图1所示。

2 材料和方法

2.1 氧载体的训练集

训练集决定了监督机器学习能否产生一个最优模型，从而准确预测新输入数据。应根据实际应用决定机器学习模型的输入(特征)和输出(目标)。本文收集了文献[16-17]的19种世界各地天然锰矿在小型流化床中的释氧特性数据，及其与甲烷和合成气(50% H2 50% CO)反应转化为CO2产气率作为反应特性的数据来训练优化机器学习模型。除锰之外，这些锰矿石还包括Fe、Si、Ca和Mg等元素，对氧载体的化学链反应有潜在影响。因此，在此工作中锰矿石的元素组成、物理性质(磨损率、破碎强度和比表面积)以及试验条件(如床温)等14个参数被确定为训练集中的输入值。锰矿石的释氧特性以及与甲烷和合成气(50% H2 和 50% CO)反应特性的试验数据作为输出值。其中，75%随机选取的数据用于训练集的训练，剩下各15%随机选取的数据分别用来验证和测试。然后，应用新建立的训练集结合不同机器学习算法寻求建立最优预测模型。此模型可以根据新的输入值快速预测新氧载体的释氧特性以及与不同燃料的反应特性。为了验证最优模型对于新输入值预测的准确性和鲁棒性，训练集中锰矿石与合成气在850 ℃反应下测得的试验数据被标记为隐藏数据用来验证。

2.2 机器学习算法

2.2.1 支持向量机(SVM)

支持向量机(Support vector machine,SVM)是由Vapnik率先提出的一种基于统计学习理论的机器学习方法，适用于分类问题和预测回归问题。尤其在解决少数据、过度拟合、非线性和维数灾难等方面优势突出。基本思路是，通过构建决策边界区分不同类别的坐标。超平面边界的回归方程为

y=f(x)=wTx b，

(1)

其中，x和y分别为输入值(空间)和目标值；w、b分别为超平面法向量和截距。分类时，使离超平面最近的某坐标距离值最大需优化约束，即

(2)

其中，为向量w的范数，使得所有目标值yi都在超平面边界的宽度ε内，即

|f(xi)-yi≤ε|。

(3)

MATLAB软件Regression Learner工具箱内包含的支持向量机算法被用来开发此工作中机器学习预测模型。具体步骤为：将训练集导入 Regression Learner中，标记出模型的输入值与输出值。选择支持向量机算法进行训练，选出最优预测模型。

2.2.2 人工神经网络(ANN)

人工神经网络(Artificial neural network,ANN)是一种通过数学模型来模拟大脑神经元结构和功能的机器学习方法，被广泛用于回归、分类和模式识别。ANN一般由输入层、隐藏层、输出层以及每层的神经元构成。输入数据由输入层的神经元接收，通过调整神经元的权重和阈值，在激活函数的处理下，将输出值传递到隐藏层的神经元，然后在单层或多层隐藏层神经元中逐级传递后最终到达输出层给出预测结果。单层神经网络的信号传导过程描述为

(4)

其中，yn为当前层的输出值和下一层的输入值；xn为神经网络的输入值，和为调整神经元的权重和阈值；f为激活函数，通常采用S形函数，即

(5)

本文采用前馈神经网络作为机器学习模型，优化前馈神经网路模型需要对网络拓扑结构，即隐藏层的层数以及每层的神经元个数进行测试分析。一般情况下，单层或双层前置神经网络可以满足绝大部分的回归预测分析。因此，开发了不同脚本比较单层和双层前置神经网络在不同神经元下的表现，选出最佳前馈神经网路预测模型。

2.2.3 预测性能评价

支持向量机和人工神经网络的预测表现通过均方根误差(RMSE)、平均绝对误差(MAE)以及决定系数(R2)来评价。

(6)

(7)

(8)

式中，ti为输出值。

3 结果与讨论

3.1 SVM与ANN预测结果及鲁棒性

SVM和ANN预测不同锰矿石在化学链条件下释氧特性和甲烷/合成气反应的表现见表1、2。其中SVM模型对释氧特性预测的准确率最低，但在预测甲烷/合成气反应中有较高准确性。

与SVM模型相比，ANN可以同时产生3个预测参数，无需和SVM模型一样建立3个针对不同预测参数的模型。但ANN需要对隐藏层数及神经元个数进行验证，选出表现性能最好的ANN模型。分别对单隐藏层(ANN1)和双隐藏层(ANN2)以及神经元节点1～50网络进行对比，选出最优ANN模型来预测不同氧载体的性能。

由表1、2可知，ANN2的预测性能高于ANN1。且ANN1和ANN2对于训练集的预测能力都强于SVM模型的预测，但这只能作为评价机器学习性能的指标之一。因为ANN在小样本训练中可能存在过度拟合的问题，即能够预测已知训练集的数据，但对训练集之外的新输入值存在较差的预测能力。因此，利用不在训练集中的锰矿石与合成气在850 ℃ 反应条件下测得的试验数据为新输入值用来验证最优SVM和ANN模型的准确性和鲁棒性。

训练后的SVM与ANN模型对新输入值(19种锰矿石与合成气在850 °C的反应特性数据)的预测如图2和3所示(误差棒代表置信区间，γ表示与某物质反应，下同)。可知SVM模型对新输入值的预测准确性和鲁棒性更好。其均方根误差、平均误差和决定系数分别为0.071、0.055和0.910，远高于单层隐藏层ANN模型的0.372、0.280、0.730。由此证明ANN模型再次运行过程中有一定的过度拟合，对新输入值的预测准确性和鲁棒性不高。但增加ANN模型的隐藏层层数和神经元节点时，会提高ANN模型对新输入值的预测表现。

3.2 灵敏度分析

经过训练的SVM与ANN模型不仅可以预测不同锰矿石的释氧特性，以及预测与甲烷/合成气的反应特性，还可以通过灵敏度分析来衡量输入参数变化对预测结果的影响，这将为修饰或改性天然锰矿石、合成高性能氧载体提供有用信息。在3.1节中，训练的SVM模型对新输入值的预测有更好的准确率和鲁棒性，因此在灵敏度分析中，分别改变TS锰矿石的Fe含量、Mn含量以及BET比表面积(±30%相对于TS锰矿石的原始值)，利用训练过的支持向量机模型来预测修改后的TS锰矿石的氧载体性能。

图4为最优支持向量机模型对不同铁含量、锰含量以及BET比表面积的TS锰矿石作为氧载体的预测。可知，TS锰矿石的释氧特性与锰矿石中Fe含量和BET无关，其随着Mn含量的升高而提高。TS锰矿石与甲烷以及合成气的反应性基本不随Fe含量和BET比表面而变化，与甲烷的反应性随Mn含量的升高而降低。这些趋势是建立在训练的支持向量机模型预测上，可能与最终试验数值有些不同。但此方法能很好地节约试验筛选锰矿石作为氧载体的时间，对候选材料进行初步预测筛选。

本文通过锰矿石作为氧载体，利用监督机器学习的回归性分析，成功阐述了利用已有试验数据结合机器学习算法能够实现对氧载体性能的预测。此方法不仅可以应用于锰矿石为主的氧载体，还可以应用于其他以金属氧化物为主的氧载体材料，从而加快开发高效低成本的氧载体。

4 结 论

1)探索了不同机器学习方法在开发氧载体材料的应用潜力，以19种不同锰矿石在化学链反应的试验数据为训练集，利用训练集训练人工神经网络和支持向量机模型，预测不同锰矿石在小型流化床中的释氧特性，以及与甲烷/合成气的反应特性。

2)2种机器学习模型对训练集的数据都有较高的预测准确率。其中人工神经网络的预测表现要高于支持向量机。但对新输入值预测方面，支持向量机模型的准确性和鲁棒性更好。隐藏层层数及神经元节点对神经网络模型的预测准确率有很大影响。通过比较不同结构模型的预测表面，最终筛选出最优的神经网络模型。此外，还进行了灵敏度分析以确定关键参数。

参考文献（References）:

[1] SONG T,WU J,ZHANG H,SHEN L. Characterization of an Australia hematite oxygen carrier in chemical looping combustion with coal[J]. International Journal of Greenhouse Gas Control,2012,11:326-336.

[2] CUADRAT A,ABAD A,GARCA-LABIANO F,et al. The use of ilmenite as oxygen-carrier in a 500 Wth chemical-looping coal combustion unit[J]. International Journal of Greenhouse Gas Control,2011,5:1630-1642.

[3] MOLDENHAUER P,RYDÉN M,MATTISSON T,et al. The use of ilmenite as oxygen carrier with kerosene in a 300W CLC laboratory reactor with continuous circulation[J]. Applied Energy,2014,113:1846-1854.

[4] FOSSDAL A,BAKKEN E,ØYE B A,et al. Study of inexpensive oxygen carriers for chemical looping combustion[J]. International Journal of Greenhouse Gas Control,2011,5:483-488.

[5] ARJMAND M,LEION H,MATTISSON T,et al. Investigation of different manganese ores as oxygen carriers in chemical-looping combustion(CLC) for solid fuels[J]. Applied Energy,2014,113:1883-1894.

[6] PANTELEEV J,GAO H,JIA L. Recent applications of machine learning in medicinal chemistry[J]. Bioorganic and Medicinal Chemistry Letters,2018,28:2807-2815.

[7] KALOGIROU S A. Artificial neural networks in renewable energy systems applications:A review[J]. Renewable and Sustainable Energy Reviews,2000,5:373-401.

[8] SIPÖCZ N,TOBIESEN FA,ASSADI M. The use of Artificial Neural Network models for CO2 capture plants[J]. Applied Energy,2011,88:2368-2376.

[9] FU K,CHEN G,SEMA T,et al. Experimental study on mass transfer and prediction using artificial neural network for CO2 absorption into aqueous DETA[J]. Chemical Engineering Science 2013,100:195-202.

[10] LI F,ZHANG J,OKO E,et al. Modelling of a post-combustion CO2 capture process using neural networks[J]. Fuel,2015,151:156-163.

[11] LEION H，MATTISSSON T，LYNGFELT A. Use of ores and industrial products as oxygen carriers in chemical-looping combution[J]. Energy & Fuel,2009,23:2307-2315.

[12] JERNDAL E，LEION H，AXELSSON L，et al. Using low-cost iron-based materials as oxygen carriers for chemical-looping combustion[J]. Oil Gas Sci. Technol.，2011,66:235-248.

[13] TIAN H，GUO Q. Investigation into the behavior of reductive decomposition of calcium sulphate by carbon monox-ide in chemical looping combustion[J]. Industrial & Engineering Chemistry Research，2009,48:5624-5632.

[14] ZHENG M，SHEN L，XIAO J. Reduction of CaSO4 oxygen carrier with coal in chemical-looping combustion：Effects of temperature and gasification intermediate[J]. International Journal of Greenhouse Gas Control,2010,4:716-728.

[15] YAN Y,MATTISSON T,MOLDENHAUER P,et al. Applying m-achine learning algorithms in estimating the performance of heterogeneous,multi-component materials as oxygen carriers for chemical-looping processes[J]. Chemical Engineering Journal,2020,387. 124072

[16] SUNDQVIST S,ARJMAND M,MATTISSON T,et al. Screening of different manganese ores for chemical-looping combustion(CLC) and chemical-looping with oxygen uncoupling(CLOU)[J]. International Journal of Greenhouse Gas Control 2015;43:179-188.

[17] SUNDQVIST S,KHALILIAN N,LEION H,et al. Manganese ores as oxygen carriers for chemical-looping combustion(CLC) and chemical-looping with oxygen uncoupling(CLOU)[J]. Journal of Environmental Chemical Engineering,2017,5:2552-2563.