【摘要】埃塞航和獅航墜機(jī)的原因都是智能化系統(tǒng)的功能失效，自動(dòng)駕駛汽車事故反應(yīng)了目前機(jī)器學(xué)習(xí)技術(shù)存在的局限性。在我們推行智能制造、人工智能、工業(yè)互聯(lián)網(wǎng)等新技術(shù)時(shí)，要考慮技術(shù)失敗可能導(dǎo)致的人為災(zāi)難。應(yīng)同步研究功能安全技術(shù)和標(biāo)準(zhǔn)，保證新技術(shù)在安全的框架內(nèi)發(fā)展。
埃塞航飛機(jī)起飛僅僅6分鐘后就墜毀，而類似空難則是近5個(gè)月前的獅航JT601，飛機(jī)起飛12分鐘墜毀。由此引發(fā)了波音737MAX8的全球停飛。
一、這是兩起功能安全事故
波音的墜落，是人工智能戰(zhàn)勝人類的災(zāi)難性事件，也是智能化系統(tǒng)功能失效的典型案例。
波音737MAX8是波音成熟度最高的機(jī)型，燃料消耗是同類機(jī)型的30%，但發(fā)動(dòng)機(jī)更改導(dǎo)致飛機(jī)機(jī)頭容易抬高。因此，它使用了一個(gè)機(jī)動(dòng)特性增強(qiáng)（MCAS）系統(tǒng)，在飛機(jī)迎角過(guò)大時(shí)系統(tǒng)會(huì)自動(dòng)下調(diào)機(jī)頭以進(jìn)入它設(shè)定的安全狀態(tài)。但實(shí)際上，MCAS是波音公司在737MAX8飛機(jī)里埋的炸彈[1]。
獅航空難事故調(diào)查已有結(jié)論，其直接原因是機(jī)頭左側(cè)攻角傳感器故障，使MCAS錯(cuò)誤地連續(xù)進(jìn)入自殺式俯沖，一共26次，而悲劇的獅航飛行員則努力奮斗拉了33次機(jī)頭[1]，試圖拯救飛機(jī)。但最終人工操作沒能成功糾偏。
埃塞航空難事故調(diào)查還在法國(guó)進(jìn)行，但從已經(jīng)披露的信息可以判斷，飛機(jī)在起飛后，連續(xù)出現(xiàn)了爬升和下降兩種飛行姿態(tài)，飛行員稱無(wú)法控制飛機(jī)，最后導(dǎo)致墜毀。
這兩起事故都是智能化系統(tǒng)功能錯(cuò)誤導(dǎo)致的飛機(jī)失控，屬功能安全事故。
二、什么是功能安全
功能安全是一門安全工程學(xué)科，專門研究復(fù)雜控制系統(tǒng)的功能失效避免。它的基礎(chǔ)標(biāo)準(zhǔn)是2000年發(fā)布的IEC61508。近20年來(lái)，針對(duì)各領(lǐng)域的安全相關(guān)系統(tǒng)，已經(jīng)發(fā)展出一個(gè)標(biāo)準(zhǔn)族群。
它主要從3個(gè)方向展開研究：
1、預(yù)期功能安全
預(yù)期功能安全是系統(tǒng)性失效的一部分，它要求全面識(shí)別受控設(shè)備中的所有危險(xiǎn)，并把風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi)。在這個(gè)前提下建立安全相關(guān)系統(tǒng)的所有功能，并用全生命周期管理來(lái)保證系統(tǒng)執(zhí)行這些功能的可靠性。
當(dāng)受控設(shè)備中包含了智能化系統(tǒng)時(shí)，這個(gè)要求就極具挑戰(zhàn)。這是我們目前面臨的新問題。
2．硬件隨機(jī)性失效避免
組成安全相關(guān)系統(tǒng)的硬件系統(tǒng)必須具有足夠的可靠性、足夠的容錯(cuò)能力和診斷覆蓋率。
3．系統(tǒng)性失效避免
要避免所有可能導(dǎo)致系統(tǒng)性失效的錯(cuò)誤和故障，如軟件功能安全、環(huán)境適應(yīng)性、檢測(cè)到故障時(shí)的系統(tǒng)行為等。
功能安全標(biāo)準(zhǔn)規(guī)定了各種原則、方法，是多個(gè)行業(yè)多年經(jīng)驗(yàn)的總結(jié)，對(duì)于提高復(fù)雜控制系統(tǒng)與保護(hù)系統(tǒng)執(zhí)行功能的可靠性，具有十分重要的指導(dǎo)意義。
三、MCAS存在多個(gè)功能安全問題
埃塞航和獅航墜機(jī)事故原因都聚焦在波音737MAX8飛機(jī)的MCAS上。MCAS是一個(gè)安全相關(guān)系統(tǒng)，從功能安全視角看，它存在多個(gè)問題。
1．設(shè)計(jì)缺陷[1]
a）發(fā)動(dòng)機(jī)更改使飛機(jī)容易在大迎角飛行時(shí)失速，波音公司沒有改動(dòng)所有問題的根源，只是加裝了MCAS系統(tǒng)，違背了本質(zhì)安全原則。
b）MCAS系統(tǒng)的危險(xiǎn)評(píng)估定級(jí)有誤（定為有害等級(jí)而不是災(zāi)難級(jí)）。這說(shuō)明設(shè)計(jì)者對(duì)MCAS失效可能造成的后果嚴(yán)重性估計(jì)不足，因此，對(duì)這個(gè)系統(tǒng)的軟硬件都沒有配置足夠的魯棒性。
c）系統(tǒng)容錯(cuò)能力不足。即使是有害等級(jí)，MCAS系統(tǒng)僅采集左側(cè)傳感器數(shù)據(jù)作為啟動(dòng)條件也是不符合要求的，它沒有采取雙攻角傳感器交叉檢測(cè)的傳統(tǒng)做法。獅航飛機(jī)是左側(cè)攻角傳感器故障就導(dǎo)致死亡俯沖。
d）對(duì)安全關(guān)鍵部件（如攻角傳感器）的故障，沒有診斷和報(bào)警。
e）出現(xiàn)死亡俯沖時(shí)，沒有明顯提示警告機(jī)組人員。
f）波音公司的培訓(xùn)資料從未提及該項(xiàng)功能，也沒有任何特別的培訓(xùn)課程。
2．獅航飛機(jī)的維護(hù)和操作問題
a）機(jī)務(wù)人員沒有及時(shí)發(fā)現(xiàn)攻角傳感器問題。獅航飛機(jī)空難前帶著這個(gè)故障飛行了4次之多，事故前一天還出現(xiàn)過(guò)機(jī)頭持續(xù)下壓的危險(xiǎn)狀況，直到飛行員關(guān)閉MCAS才安全降落[2]。
b）獅航的維修工作及程序未能解決涉事客機(jī)的問題，而客機(jī)關(guān)鍵零件（攻角傳感器）的安裝及校準(zhǔn)紀(jì)錄不完整[3]。
c）飛行人員存在操作錯(cuò)誤[3]。
3．監(jiān)管問題[4]
a）波音737MAX8在美聯(lián)邦航空管理局（FAA）進(jìn)行新飛機(jī)的安全批準(zhǔn)時(shí)，為了加快進(jìn)度，把該機(jī)型MCAS系統(tǒng)的安全評(píng)估交給了波音，并要求自身的工程師們加快檢查進(jìn)度。這極大降低了監(jiān)管的力度和有效性。這違反了功能安全標(biāo)準(zhǔn)的規(guī)定：“對(duì)于失效后會(huì)導(dǎo)致嚴(yán)重后果的安全相關(guān)系統(tǒng)，必須由獨(dú)立的第三方評(píng)估后給出合格與否的結(jié)論”。
b）波音提交的報(bào)告數(shù)據(jù)與實(shí)際不符。
c）評(píng)估報(bào)告未發(fā)現(xiàn)MCAS的諸多設(shè)計(jì)缺陷。
d）評(píng)估未要求飛行手冊(cè)上標(biāo)注MCAS，也沒有要求特別的培訓(xùn)。這違反了功能安全標(biāo)準(zhǔn)對(duì)安全手冊(cè)的要求。
功能安全標(biāo)準(zhǔn)要求采用全生命周期來(lái)管理安全相關(guān)系統(tǒng)，設(shè)計(jì)者有責(zé)任設(shè)計(jì)高安全完整性等級(jí)的安全相關(guān)系統(tǒng)，維護(hù)者有責(zé)任維護(hù)安全相關(guān)系統(tǒng)，監(jiān)管者有責(zé)任獨(dú)立評(píng)估安全相關(guān)系統(tǒng)的功能安全性能。但如果在設(shè)計(jì)上存在本質(zhì)缺陷，那么靠維護(hù)是不能提高安全相關(guān)系統(tǒng)執(zhí)行功能的可靠性。設(shè)計(jì)者要考慮到維護(hù)者和使用者的能力限制。
獅航事故發(fā)生后，印尼獅航和波音公司各執(zhí)一詞，波音公司沒有緊急停飛737MAX飛機(jī)，也沒有任何召回行為，反而對(duì)印尼獅航的賠償要求百般推諉，間接導(dǎo)致了埃塞航的空難。這一次，中國(guó)率先對(duì)埃塞航墜機(jī)作出反映，果斷停飛該機(jī)型。波音公司應(yīng)該感謝中國(guó)。
想到獅航飛行員努力奮斗拉了33次機(jī)頭而失敗墜機(jī)，聽到埃塞航飛行員驚恐地報(bào)告無(wú)法控制飛機(jī)的聲音，所有人都會(huì)心疼不已。人們不禁要問，在智能化時(shí)代，各國(guó)都在大力發(fā)展人工智能技術(shù)，我們未來(lái)面臨的到底是福還是禍？
四、在新技術(shù)條件下，復(fù)雜系統(tǒng)面臨各種安全挑戰(zhàn)
在智能制造、人工智能時(shí)代，復(fù)雜的智能化系統(tǒng)面臨各種安全挑戰(zhàn)：
1．“你不知道自己不知道什么”
從智能制造到人工智能、從5G到工業(yè)互聯(lián)網(wǎng)，新的熱點(diǎn)層出不窮，新的技術(shù)不斷更新?lián)Q代，智能化系統(tǒng)越來(lái)越復(fù)雜。互聯(lián)互通、信息集成，要將系統(tǒng)所有邊界情況一網(wǎng)打盡是天方夜譚。這種情況下，無(wú)論是設(shè)計(jì)者還是監(jiān)管部門都嚴(yán)重缺乏經(jīng)驗(yàn)，都面臨“你不知道自己不知道什么”的困境。
2．監(jiān)管缺失
我們批評(píng)波音自己對(duì)自己的系統(tǒng)進(jìn)行評(píng)估，實(shí)際上，對(duì)于類似MCAS這樣的系統(tǒng)，監(jiān)管部門的理解和評(píng)測(cè)能力很可能不足，也沒有相應(yīng)的標(biāo)準(zhǔn)。對(duì)復(fù)雜的智能化系統(tǒng)進(jìn)行功能安全評(píng)測(cè)一直是業(yè)內(nèi)難題。
3．智能化系統(tǒng)與人的關(guān)系
在智能化系統(tǒng)控制著的飛機(jī)上、自動(dòng)駕駛汽車上、現(xiàn)代化的工廠里，人的錯(cuò)誤可能是導(dǎo)致事故的重要原因。比如2009年6月1日法航447墜落事件中，空速管結(jié)冰導(dǎo)致飛行控制系統(tǒng)進(jìn)入故障模式，副駕駛持續(xù)拉桿的錯(cuò)誤動(dòng)作導(dǎo)致飛機(jī)失速墜落。在波音這架飛機(jī)上，駕駛員與MCAS一直在搶奪控制權(quán)，最終駕駛員失敗了。在危機(jī)時(shí)刻，該聽誰(shuí)的？這需要針對(duì)每個(gè)功能進(jìn)行認(rèn)真研究。
4．機(jī)器學(xué)習(xí)技術(shù)的不確定性影響安全[5]
機(jī)器學(xué)習(xí)具有“黑箱”特質(zhì)（不確定性），面對(duì)相同情況時(shí)可能會(huì)產(chǎn)生不同結(jié)果。數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的不完善，也可能導(dǎo)致無(wú)意的偏差和數(shù)據(jù)失真問題。
以自動(dòng)駕駛汽車為例：自動(dòng)駕駛技術(shù)通常包含一些類型的機(jī)器學(xué)習(xí)技術(shù)，特別是在目標(biāo)探測(cè)和分類等任務(wù)中。而一旦有個(gè)不小心，機(jī)器學(xué)習(xí)訓(xùn)練就有可能引發(fā)系統(tǒng)錯(cuò)誤。一臺(tái)自動(dòng)駕駛汽車的人工智能系統(tǒng)利用前置攝像頭采集的視頻數(shù)據(jù)當(dāng)作“學(xué)習(xí)資料”，然而這輛車在學(xué)習(xí)一陣后，卻徑直沖向了路上穿熒光綠色背心的建筑工人。原因是這輛車的教學(xué)數(shù)據(jù)庫(kù)并沒有包含熒光綠色背心的數(shù)據(jù)，所以機(jī)器根本分辨不出來(lái)穿背心的工人是人類。
五、各領(lǐng)域由于系統(tǒng)失控導(dǎo)致的功能安全事故案例
1．自動(dòng)駕駛汽車事故
近年來(lái)，采用了機(jī)器學(xué)習(xí)技術(shù)的自動(dòng)駕駛汽車是熱點(diǎn)，但各地出現(xiàn)的車毀人亡事故又在不斷地給這個(gè)熱點(diǎn)潑冷水。
2017年5月17日，美國(guó)加州一名特斯拉Model S 車主在開啟了自動(dòng)駕駛狀態(tài)下撞上前方轉(zhuǎn)彎的卡車，不幸身亡。原因是由于卡車涂裝為純白色，在強(qiáng)烈反光下，特斯拉車載攝像頭未能將這輛車從天空背景中識(shí)別出來(lái)。
2018年3月，優(yōu)步（UBER）自動(dòng)駕駛汽車撞死一名推著自行車穿過(guò)馬路的49歲行人。原因是交通狀況的突然變化超過(guò)了車載智能駕駛系統(tǒng)的計(jì)算、響應(yīng)速度。面對(duì)突如其來(lái)的狀況，智能駕駛系統(tǒng)未能及時(shí)作出反應(yīng)來(lái)避免事故的發(fā)生。
2．其它設(shè)備故障導(dǎo)致系統(tǒng)失控的功能安全事故
由于設(shè)備故障，導(dǎo)致系統(tǒng)失控，最終發(fā)生嚴(yán)重事故，比如：
2013年3月15日，央視315晚會(huì)曝光大眾汽車變速箱機(jī)電單元（DSG）存在問題。由于DSG電子故障，車輛動(dòng)力輸出中斷，可致汽車在行駛過(guò)程中突然失速。這已經(jīng)導(dǎo)致了多起重大事故。
2007年4月18日，遼寧鐵嶺鋼鐵廠，脫落鋼水包口直對(duì)著工人開會(huì)的小屋，很多鋼水灌入小屋，32位工人死亡。事故直接原因是：接觸器銹蝕斷開，導(dǎo)致鋼包控制系統(tǒng)功能失效。
2005年3月23日，BP公司在美國(guó)德州的煉油廠在開車過(guò)程中發(fā)生了多起爆炸事故，造成15人死亡，170多人受傷。事故直接原因是：液位計(jì)失靈，導(dǎo)致高液位報(bào)警失效，缺少高液位判斷功能。
六、在我們推行智能化與人工智能技術(shù)時(shí)，必須同步研究功能安全
研究智能化與人工智能時(shí)代的功能安全技術(shù)，制定相應(yīng)標(biāo)準(zhǔn)，為智能制造與人工智能保駕護(hù)航。
面對(duì)更新?lián)Q代的新技術(shù)和“層出不窮”的熱點(diǎn)，我們必須理解風(fēng)險(xiǎn)埋藏在哪里，能夠識(shí)別出那些未知且不安全的部分，然后將它們的風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi)。對(duì)它們進(jìn)行區(qū)分，拿出化解風(fēng)險(xiǎn)的方案并對(duì)其進(jìn)行驗(yàn)證。需要制定標(biāo)準(zhǔn)規(guī)范行業(yè)行為，比如，制定安全標(biāo)準(zhǔn)以規(guī)范數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的開發(fā)行為，以減少人工智能系統(tǒng)無(wú)意的偏差和數(shù)據(jù)失真問題。
七、結(jié)束語(yǔ)
埃塞航和獅航空難是巨大的悲劇，所有新技術(shù)失敗導(dǎo)致的事故都是人為的災(zāi)難。看到這些災(zāi)難，不禁對(duì)智能化和人工智能等新技術(shù)心存敬畏。希望我們能深入研究功能安全技術(shù)，用標(biāo)準(zhǔn)和法規(guī)來(lái)保障新技術(shù)在安全的框架內(nèi)發(fā)展。而任何一項(xiàng)新技術(shù)，也只有在解決了安全問題之后，才能真正為用戶所接受。
參考文獻(xiàn)
感謝舍弗勒公司薛劍波先生提供的汽車領(lǐng)域事故案例和ISO21448預(yù)期功能安全的相關(guān)資料。
[1]大水來(lái)，獅航空難：26次死亡俯沖和33次絕望拯救的背后故事[EB/OL]（2019-03-19）（2019-03-19）https://news.online.sh.cn/news/gb/content/2019-03/19/content_9232111.htm
[2]張仲麟，獅航空難調(diào)查報(bào)告發(fā)布，鍋歸誰(shuí)？【EB/OL】（2018-12-02）（2019-03-19）https://user.guancha.cn/main/content?id=58538
[3]香港東網(wǎng)，波音回應(yīng)獅航空難初步調(diào)查報(bào)告：客機(jī)安全 操作及維修不當(dāng)【EB/OL】 （2018-11-28）（2019-03-19）
https://news.163.com/18/1129/10/E1P82PRU0001899N.html
[4]新華社轉(zhuǎn)西雅圖時(shí)報(bào)，美媒：737MAX飛行控制系統(tǒng)的安全評(píng)估存在嚴(yán)重缺陷【EB/OL】（2019-03-18）（2019-03-19）
http://www.sohu.com/a/302127002_260616
[5]雷鋒網(wǎng)，揭秘 ISO 21448，它是自動(dòng)駕駛行業(yè)的新風(fēng)向標(biāo)？【EB/OL】（2019-03-11）（2019-03-19）http://www.kejilie.com/leiphone/article/vmQzMn.html
作者簡(jiǎn)介：
史學(xué)玲， 1982年畢業(yè)于浙江大學(xué)。機(jī)械工業(yè)儀器儀表綜合技術(shù)經(jīng)濟(jì)研究所副總工程師、功能安全中心主任。國(guó)家安全生產(chǎn)專家組成員，國(guó)際權(quán)威機(jī)構(gòu)認(rèn)證的功能安全專家。SAC/TC124/SC10系統(tǒng)及功能安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)副主任委員，全國(guó)機(jī)械安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)委員，全國(guó)電氣安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)委員，全國(guó)電工電子產(chǎn)品可靠性與維修性標(biāo)準(zhǔn)化技術(shù)委員會(huì)委員。
