傳感器融合在物聯網中的作用：機器監測-環境感測-人感知交互

傳感器融合在物聯網中的作用：機器監測-環境感測-人感知交互

作者:飛思卡爾半導體微控制器全球戰略和業務發展執行總監Kaivan Karimi
3xmaker合越智能 翻譯編輯整理

傳感器技術的時代已經過去。如今，體驗不使用傳感器為用戶創造新體驗的電子消費產品已變得異常。隨著微機電系統（MEMS）技術變得越來越便宜和進一步小型化，傳感器正經歷著各種復興，從而推動了傳感器向新應用的滲透，并為傳感器市場創造了新的潛力。

介紹

如今，傳感器被廣泛應用于各種應用中，例如智能移動設備，汽車系統，工業控制，醫療保健，石油勘探和氣候監測。傳感器幾乎無處不在，現在傳感器技術已開始緊密模仿最終的傳感機器……人類。允許這種情況發生的技術是傳感器融合，該技術利用微控制器（“大腦”）融合從多個傳感器收集的單個數據，從而獲得比使用來自傳感器的數據更準確，更可靠的數據視圖。每個獨立的傳感器。傳感器融合會導致整體大于其各個部分之和的情況。

傳感器融合可實現上下文感知，這對于物聯網（IoT）具有巨大的潛力。用于遠程情緒計算（情感感應和處理）的傳感器融合技術的進步也可能導致未來激動人心的新應用程序，包括智能醫療保健。但是，這些功能引發了IoT治理需要解決的重大隱私問題。隨著傳感器融合和REC技術的使用增加，海量的上下文感知數據將變得可用。這些數據，以及物聯網對“空中全球神經網絡”的訪問和基于云的處理資源，將導致針對任何給定情況定制的上下文感知服務的交付產生巨大的擴展。服務可以基于單個用戶正在做什么，機器正在做什么。

人類：終極感官范例

為了了解傳感器融合的工作原理，讓我們看一下傳感器在人體中的工作方式。人類通過多種方式體驗外部環境。視覺，聽覺，化學感覺（嗅覺和味覺）和表面感覺（觸覺）都提供有關周圍環境的感覺信息，這些信息通過周圍的神經系統（PNS）到達大腦。然后，大腦決定如何對給定的條件或經歷做出反應。

PNS不會對其傳輸的信息做出復雜的決定；這些決定是由大腦做出的。響應于感覺輸入，大腦發出運動信息，即人類對輸入的響應。例如，一個行人看到一輛汽車朝他行駛，他的大腦告訴他的肌肉更快地走到馬路的另一側，以免發生事故。人類還會從內部器官接收信息，其中一些信息很明顯，例如胃痛。人們還不知道其他種類的內部信息，例如血壓，這些信息可用于調節人體的內部環境。

大腦是最終的決策者。但是，如果周圍神經系統無法提供感覺信息并發出運動信息，則人們將無法走路，說話或完成我們通常認為理所當然的許多其他功能。大腦通常使用多種感覺輸入源來驗證事件并補償缺乏“完整”信息的風險以做出決定。例如，一個人可能看不到汽車引擎蓋下的火焰，但是燃燒的橡膠和來自儀表板的熱量散發出的氣味會告訴大腦是時候離開汽車了，因為發動機著火了。在這種情況下，導致大腦做出反應的信息大于不同感覺輸入的總和。

圖1：從周圍環境收集感官信息（視覺，聽覺，嗅覺，味覺和觸覺），并通過周圍神經系統到達大腦以進行處理和響應。

在技術世界中，傳感器融合扮演著相似的角色。通過集成來自多個傳感器的輸入以實現更準確和可靠的感測，傳感器融合可以產生更高水平的識別并提供新的響應。各個傳感器具有固有的局限性并且可能會出錯，可以通過互補的傳感節點進行糾正或補償。例如，陀螺儀會隨著時間的流逝而產生偏移漂移，可以使用配套的加速度計對其進行補償。結論是，融合的傳感器信息（來自多個傳感器）比單個傳感器數據更準確，更可靠。

不斷發展的傳感器技術可改善日常生活

讓我們看一個計步器的簡單示例。傳統的計步器使用擺錘，并且必須以垂直角度戴在臀部上，以免出現錯誤的讀數。當用戶走路時，計步器通過跟蹤擺隨著髖部運動來回擺動并每次擊中計數器而對每一步進行計數。但是，由于步幅，爬升/行走角度或用戶駕駛汽車或進行其他動作時錯誤地計算步數，錯誤的讀數很常見。

基于MEMS的慣性傳感器帶來了巨大的進步?；贛EMS的第一代計步器使用了加速度計，可以對人的加速度進行1軸，2軸或3軸（3D）檢測，從而更精確地測量步數。而且，與老式的機械計步器僅記錄每個揮桿動作的步數不同，加速度計每秒可多次測量人的運動。

但是，如果您不僅要計算步數，還要準確計算上下樓梯或爬山時消耗的卡路里，該怎么辦？下一代計步器增加了高度計，以測量和解釋人在行走時物體在固定參考點（海拔）以上的高度變化。高度計技術可感測高度計或氣壓計（BAP）應用中的絕對氣壓。準確的壓力讀數也需要溫度測量，因此通常會添加某種溫度補償電路以提高準確性。

圖2：計步器示例

繼早期的懸掛在慢跑者手臂上的便攜式音樂播放器取得成功之后，如今，有許多獨立的計步器和帶有計步器功能的手機被設計為可佩戴在手臂上（而不是掛在臀部的皮帶上）。在此用例中，手臂運動會引起寄生運動。陀螺儀可以測量手臂的旋轉運動并對其進行補償。

三種類型的傳感器（加速度計，高度計和陀螺儀）與用于測量和處理讀數的MCU結合使用，可形成高度精確的計步器。

傳感器融合如何工作

最基本的傳感器融合示例是電子羅盤，其中3D磁力計和3D加速度計的組合提供了羅盤功能。更復雜的傳感器融合技術可利用和組合3D加速度計，3D陀螺儀和3D磁力計（可測量特定方向上相對于給定設備的空間方向的磁場分量），從而為用戶帶來增強的體驗。這些傳感器類型均提供獨特的功能，但也有局限性：

加速度計：x，y和z軸線性運動感應，但對振動敏感

陀螺儀：俯仰，滾動和偏航旋轉感應，但零偏漂移

磁力計：x軸，y軸和z軸磁場感應，但對電磁干擾敏感。

當結合所有這些技術時，傳感器融合會從多個傳感器獲取同步輸入，處理輸入并創建大于其各個部分之和的輸出（即，通過使用特殊算法和過濾技術，傳感器融合消除了缺陷） （類似于上述人體功能）。

傳感器融合提供了許多功能，這些功能可以使我們的生活更輕松，并啟用可以利用這些功能的各種服務。

當今傳感器行業面臨的問題之一是各種操作系統（OS）之間缺乏標準化。如今，大多數操作系統驅動程序都要求提供最基本的傳感器數據，這限制了傳感器全部功能的使用。

傳感器融合是Microsoft?戰略的一部分，因此Windows?8 OS使用基于與Microsoft生態系統合作伙伴合作開發的行業標準的傳感器類驅動程序（人類接口設備規范2011），以內聚方式支持傳感器。Windows運行時編程模塊允許進行輕量級執行程序調用，從而可以在硬件級別進行傳感器處理。

傳感器融合通常是指3D加速度計，3D陀螺儀和3D磁力計的組合。這種配置稱為九軸系統，為用戶提供了九個自由度（9-DoF）。2012年，飛思卡爾為Windows 8引入了12軸Xtrinsic傳感器平臺，該平臺提供了12自由度傳感器融合解決方案。這可以通過包括氣壓計傳感器，溫度計傳感器和環境光感應功能來實現。

適用于Windows 8 OS的飛思卡爾12軸Xtrinsic傳感器平臺

這種全面的硬件和軟件解決方案使用飛思卡爾32位MCU（操作的“大腦”）融合了加速度計，磁力計和陀螺儀數據，并為簡化的開發提供了易于集成的功能。微軟的Windows 8操作系統專門用于平板電腦，平板電腦，筆記本電腦和其他移動設備，其具有個人計算機計算能力的功能擴展了運行智能手機和平板電腦應用程序的功能。飛思卡爾是首批通過其傳感器融合平臺獲得Microsoft Windows 8認證的公司之一。

基本的傳感器融合處理需要10-12 MIPS。對于9自由度傳感器融合，要求可以輕松達到18-20 MIPS的處理周期。有多種方法可以滿足這些處理需求（每種都有優點和缺點），包括添加用于傳感器處理的專用協處理器，或者使用具有足夠性能余量的健壯MCU，以便隨著時間的推移添加新功能。如果已經需要MCU來執行IoT應用程序的嵌入式處理，則MCU選項將是有利的，因為它將“用一塊石頭殺死兩只鳥”。

圖3：Windows 8的12軸Xtrinsic傳感器數據流

傳感器融合的其他示例

飛思卡爾正在進行有關在醫療電子產品中使用傳感器以及在非醫療應用中使用多傳感器處理的研究。喬斯·費爾南德斯·維拉塞（Jos??Fern?ndezVillase?±or）博士是一名醫學博士和電氣工程師，結合了他作為飛思卡爾醫療產品銷售商和醫院醫生的工作，致力于使用傳感器（大型的REC技術）進行情緒分析領域的研究。 。研究表明，與體育活動引起的腎上腺素增加相比，體育鍛煉引起的心率增加具有不同的模式和斜率。因此，人們可以使用算法并分析傳感器數據，以電子方式檢測人所顯示的情緒類型。

這是一個游戲平臺的示例，可以通過監視和獲取來自生理變量和狀態的數據來以電子方式檢測情緒，例如：

肌肉松弛（MR）-通過壓力傳感器

心率變異性（HRV）-通過芯片上的兩電極ECG

汗液（S）-通過電容式傳感器

姿態（A）-通過加速度計監視人的放松狀態（劇烈運動與穩定手部運動）

肌肉收縮（MC）-通過壓力傳感器

使用收集到的傳感器數據，游戲平臺中的MCU可以例如檢測情緒并在游戲情況下向游戲者提供反饋，以使游戲更加精彩。如何在駕駛游戲中使轉彎更快，更難操縱，直到玩家顯示出更放松的狀態（來自加速度計的不那么緊張的讀數）？因此，對自己的情緒有更好控制的冷靜駕駛員會獲得更好的分數（類似于現實生活）。如果本地控制臺的MCU提供了處理功能，則將其視為本地情感計算；如果基于云的系統提供了處理功能，則將其視為遠程情感計算。在基于云的系統中，可以利用復雜的“大數據”算法為游戲場景提供更精細的響應。

圖4：使用情感感知的上下文感知

在另一個示例中，傳感器可以用于通過測量用戶握住手機鍵入或撥打電話的方式來檢測情緒。此外，軟件算法可用于通過分析人發短信的方式，電話移動的抖動程度或鍵入時出現的許多錯誤（使用退格鍵）來提供有關個人心理狀態的其他上下文。

利用傳感器融合實現物聯網

如白皮書“物聯網要成為現實需要什么”所述，物聯網包含許多用例-從互聯的家庭和城市到互聯的汽車和道路，再到跟蹤個人行為并將所收集的數據用于“推”服務。IoT是一種通用的“空中全球神經網絡”，它將觸及我們生活的方方面面。從技術角度來看，IoT被定義為與其他機器，對象，環境和基礎架構進行交互和通信的智能機器，從而導致生成大量數據并將該數據處理為可以“命令和控制”事物并做出有用的動作對人類而言，生活要容易得多。

圖5：物聯網

所有物聯網用例的共同要求包括：

感應和數據收集功能（感應節點）

本地嵌入式處理能力的層（本地嵌入式處理節點）

有線和/或無線通信功能（連接節點）

該軟件可自動執行任務并啟用新的服務類別

基于遠程網絡/云的嵌入式處理能力（遠程嵌入式處理節點）

信號路徑上的全面安全性。

物聯網所需的傳感節點的類型差異很大，具體取決于所涉及的應用程序。傳感節點可以包括用于圖像監控的攝像頭系統，用于智能能源的水或燃氣流量計，需要主動安全時的雷達視覺，RFID讀取器可感測物體或人的存在，帶有開/關電路的門和鎖，用于指示物體或物體。建筑物侵入物或簡單的溫度計來測量溫度。誰能忘記電影《少數派報告》中追蹤建筑物人口的尋味機械漏洞？這些機械錯誤代表了未來的潛在傳感節點。（我認為它們將用于打擊犯罪。）

這些節點都將帶有唯一的ID，并且可以通過遠程命令和控制拓撲分別進行控制。當今存在用例，其中具有RFID和/或近場通信（NFC）和GPS功能的智能手機可以接近建筑物中啟用了RFID / NFC的各個“事物”，與它們進行通信并在網絡上注冊其物理位置。因此，RFID和NFC將在遠程注冊以及最終對物聯網的命令和控制中占有一席之地。

傳感器融合平臺和遠程情感計算的添加極大地提高了物聯網中傳感節點的能力。

圖6：物聯網技術的功能視圖

物聯網構建基元的“盒級”視圖

如果將IoT的構造塊從簡單節點轉換為盒式/產品級視圖，我們最終將獲得使用PAN / BAN / LAN類型的通信拓撲的感知/邊緣節點，并連接到具有不同層次結構的網關。

圖7：物聯網構建模塊的``盒級''視圖

這些網關又通過WAN通信技術與云進行通信。通過訪問網絡連接到云后，數據將通過服務器進行路由，以進行應用/操作以及大數據分析。

上下文意識

傳感器融合以及嵌入式處理和連接功能可以實現上下文感知，而上下文感知則可以開創服務的新天地。

什么是“上下文”？

上下文定義為形成事件，陳述，情況或想法的環境或事實。在軟件編程中，開發上下文感知應用程序的想法已經存在了一段時間。具有上下文意識的應用程序檢查誰，何時何地，何時何地，然后軟件設計人員使用此上下文信息來確定為什么會發生某種情況，然后對應用程序中的某些操作進行編碼。

根據此定義，用于制定上下文感知操作的四個最重要的信息類別是：

身份

地點

時間

活動

在使用上下文信息來制定確定性動作時，上下文接口首先出現在人類內部（之間），然后是環境，最后是機器和基礎結構元素。畫布，油漆管和畫筆的集合以相同的方式允許藝術家創作杰作，情境感知，而這些界面是啟用各種服務的工具，這些服務原本就沒有意義。在這里，技術的不斷改進可以使整體大于其各個部分的總和。沒有什么能像傳感器那樣檢測并提供人類情感的讀數。傳感器提供了對人類思維方式的訪問，使體驗更加“個人化”。

圖8：傳感器融合可實現上下文感知

人，自然與環境以及機器/基礎設施之間的交互（和界面）為確定上下文感知提供了有價值的數據點，包括：

人類

動作，姿勢和步幅

對刺激的反應

在特定條件下的情緒

在任何給定時間的生物識別

周圍環境

地點

高度

溫度

濕度

光

聲音

聞

人員正在使用的基礎設施/機器

彈道

影響

速度

回饋

振動和回轉

與結構完整性相關的更改

圖9：傳輸的上下文數據進行處理

在物聯網中，傳感節點收集輸入后，嵌入式處理節點將處理上下文感知的數據，并提供反饋以立即采取行動，或將其傳遞給基于云/網絡的處理。在后一種情況下，需要各種連接機制才能將數據獲取到核心網絡。例如，在這種情況下，蜂窩電話或連接的平板電腦成為連接到廣域網（WAN）的“網關”。

傳感器融合/上下文感知和遠程情感計算相關服務

想象一下使用傳感器融合平臺的情況，它利用本地嵌入式處理以及基于云的軟件技術（例如Internet搜索和在線廣告中使用的模式識別和機器學習）來遠程監視各種情況并完全提供新的服務類別-所有這些操作都是由基于云的命令和控制中心自動完成的，無需任何人工干預。這些服務的多樣性僅受其想象力的限制，方案可能包括：

水果和蔬菜紙箱上的傳感器可以跟蹤乘車的位置，溫度，振動和晃動，并嗅探產品，并在變質之前發出警告。然后，基于云的指揮和控制中心可以自動與運輸卡車或火車進行通信，以重新安排運輸路線并保存食物。想象一下，這樣做的經濟效益更大。

通過提供購物者的健康歷史記錄，提供指導，優惠券，增強現實地圖和交易推薦，免費音樂會，電影和其他娛樂，社交網絡以及就餐場所，從而幫助購物中心的人們獲得更好的購物體驗。

我最近在當地的一家兒童醫院呆了幾天，不禁想知道如何改進該系統。

傳感器融合平臺可用于減少醫院護士檢查患者生命體征的次數，從而降低醫療成本。還可以使用它來遠程監視患者并在需要時建議或提供預防性護理，從而完全避免去醫院看?。?/span>

想象一下，將各種傳感器融合平臺和RFID讀卡器結合在病房洗手池后面，以監視醫生和護士的動作，并在他們觸摸患者之前和之后忘記洗手時提醒他們（這是醫院獲得性感染的最大原因之一） 。

REC示例：可以每天24小時跟蹤一個人的生命體征，情緒和動作。然后，可以使用該數據來提醒個人對自己的飲食，駕駛等保持更高的警惕，以幫助預防健康問題和/或事故。如果該人嚴重醉酒，則該人的電話可以撥打預定的緊急聯系人，并提供該人的位置以發送幫助。想象有多少青少年父母會注冊這項服務！

遇到結構問題的橋梁由于環境條件而無法繼續行駛，會自動向基于云的命令和控制中心發出警報，而該中心又會向所有汽車（不僅是駕駛員）發出警告，通知該橋梁停留離開并走替代路線。

酒后駕駛的車輛會警告警察和附近的車輛，以幫助避免發生事故。

還有許多其他類型的服務，它們利用傳感器融合來提供上下文感知的服務。

在大多數情況下，不需要在設備級別上進行重大技術突破即可實現上述任何一種情況，并且已經非常關注使用“大數據”處理，分析工具和機制來生成這些情況。服務類型。僅需進行漸進式改進，即可將技術和玩家生態系統融合在一起，設定游戲規則，并從小的孤島云過渡到“空中的全球神經網絡”。

圖10：通過傳感器融合感知的上下文信息幫助大數據環境的真實高效

傳感器收集的信息可用于有益和簡化人們生活的服務，也可用于數據挖掘和其他引發安全和隱私問題的用例，因此，將成為物聯網的兩難境地。借助傳感器融合和REC技術，甚至可以添加更多功能。就像不久前發生互聯網現象并像野火一樣撲滅一樣，物聯網將在不到十年的時間內觸及我們生活的方方面面，而傳感器融合技術則是這一現象的前排座位。你準備好了嗎？

行業用途與應用

傳感器用于眾多行業和領域的無數應用中。由于傳感器無處不在，因此可以肯定的是，傳感器融合的應用領域同樣廣泛。Emergen Research的一份報告預測，到2027年，全球傳感器融合市場將達到167.2億美元。以下是受益于傳感器融合的行業列表：

·         汽車行業

·         氣候監測

·         電腦軟件

·         消費類電子產品

·         醫療保健

·         智能家居

·         工業控制

·         物聯網

·         制造業

·         軍工

·         石油勘探

基于柔性傳感器、智能標簽RFID及定位技術等的傳感器融合在物聯網、醫療物聯網、可穿戴健康、機器人與智能制造、結構健康監測等領域的應用解決方案@南京合越智能，www.knexny.com