AR+IoT 於農業方面應用

AR+IoT 於農業方面應用


AR+IoT概要介紹

在基於擴增實境(Augmented Reality, AR)的基礎之上,混合實境(Mixed Reality, MR)能將虛擬資訊與現實環境融合在一起,經過兩者精準定位後能夠產生更逼真的虛實互動。舉例來說,透過手部動作偵測或眼球追蹤,來對虛擬物件做更精細的處理(點選、翻轉、縮放、拋擲物件等),能夠產生比AR更為真實的操作感覺,加強使用者的體驗。例如:在引進新人的教育訓練方面,傳統的培訓方法是從物理設備或教室裡進行書籍或影片的培訓,在設備端進行培訓時,存在著施工安全、設備損耗等風險,而在課堂培訓時,卻少了實地培訓的好處。

而行之有年的物聯網(Internet of Things, IoT)概念,包含了各種可以聯網的物體或裝置,當我們無法前往現場時,透過與這些裝置連結,能夠取得這些可被看到、聽到或感知到的資料,接著可進行後續的分析與操作。透過蒐集資料,能夠結合機器學習,可以從中進行分析與學習,以利於自動化決策,也就是所謂的人工智慧。

在農業方面,物聯網技術的使用可以說是越來越純熟。像是無人機噴灑農藥、溫溼度感測器監控環境、自動灑水降溫等許多技術,能夠有效減少了人力成本。但是在遠端監控的人員,無法以直覺方式操控這些機器,並且對於需要手動操作的器具或是需要即時互動的環境,便缺少了一項有力的技術。

結合了AR與IoT這兩種完全不同的概念,能夠顛覆目前既有的工作模式。透過虛實互動與萬物聯網的能力,將AR設備與IoT裝置連接在一起,能夠讓使用者直覺操作IoT裝置;或是透過IoT裝置蒐集的資料,呈現在AR設備上,並能與遠端的專業人員協作。而現代農業開始採用物聯網解決方案,透過感測器、無人機、自動化器具等來協助降低風險或保護脆弱性的工具。結合了AR設備,可以讓第一線人員不須放下手中器具去操控手機,而是透過AR頭戴設備來強化使用者體驗,並能夠大幅提升工作效率。




智慧農業

Smart Farming AR Concept,取自於MAURICE GO


在未來的40年,世界人口將預期膨脹至90億左右,而糧食產量需要增加至少目前的70%以上,以避免大規模的饑荒。並且這些農業生產者需要學會對付氣候急遽變化、洪水或旱災、資源枯竭抑或是政治經濟上的因素,而這些需要透過降低勞動或生產成本來達到。

由Infosys (MAURICE GO), Telstra 在2018年共同開發了Smart Farming AR 的原型,並使用微軟Hololens來進行可視化的操作,並且可佈署到手機上,讓沒有Hololens的人員也能一同分享視野。那麼使用者可以進行什麼操作呢? Infosys 將農場位置透過GPS定位,並且繪製出了整個農場。在耕作方面,無人自駕機具能即時反饋機具位置,而遠端監控人員能在農場地圖上看到機具的行進狀況,並且進行細部微調;除了虛擬物件的呈現,在機具上裝上攝影機,並且與遠端裝置連線,能夠即時呈現影像畫面。

除了無人自駕機具以外,感測器也是智慧農業中重要的一環,可以有效偵測環境的各項參數,Infosys 將感測器回傳的數據整理,變成實時可視化的圖表,提供使用者做出決策。像是可以針對環境中的溫溼度,進行灑水降溫;而灌溉過程可透過土壤感測器來節省水量的使用,並且可以偵測土壤中的PH值,適時調配肥料或營養劑;此外,也可與市場系統連結取得農產品價格,避免過度投入同一種農產品而造成價格崩盤。

多人透過AR設備觀看同一個模型,取自於MAURICE GO


透過Hololens即時監測無人機的作業情況,取自於MAURICE GO


無人機的攝影畫面即時回傳,取自於MAURICE GO


自駕曳引機的即時狀況回報,取自於MAURICE GO


土壤傳感器的資料回饋,取自於MAURICE GO

  1. MAURICE GO
  2. Infosys



影像辨識


目前市面上不少AR眼鏡都配有攝影機,像Hololens2更配有紅外線與可測深度的相機,能夠在影像辨識方面提供更多的硬體支援。位於荷蘭瓦赫寧恩大學(Wageningen University & Research)的一個研究團隊,結合了Hololens2與影像辨識的技術,針對溫室裡的植栽作物等進行辨識。

該團隊第一個應用是計算非洲菊中的雄蕊數量,藉由這個應用可以培訓新進人員識別可收穫的花朵。第二個應用則是結合了紅外線感測器,將數據整合到Hololens2上後進行彩色投影,可以偵測到植物的壓力。第三個應用則是溫室定位,將Hololens2與其觀看方向定位後,便可得知使用者正在觀察的植物,系統將會自動顯示該植物的所有資訊,免去掃描QR code的動作。最後一個應用則是語音辨識,可以讓飼養員或觀察員免去手寫紀錄的困擾,只要藉由語音,便可以紀錄相關結果。

https://youtu.be/b6d35nxIUGc

https://youtu.be/GaVxET8TQCs

https://youtu.be/YYpVg_zylOo




AR+IoT系統開發方案有關內容

在導入AR+IoT系統過程,除了語音辨識、影像辨識等較高難度的操作,有沒有哪些物件是基礎開發者能夠上手的呢? 透過以上例子可以得知,導入CAD模型、置入圖片影片、器具的解說介面、物聯網連接等是較為容易上手的,以下我們呈現相關概念。


導入CAD模型

根據使用者給予的CAD模型,導入於實際場景中。可由Blender、Autodesk、SketchUp等軟體,導出3D模型至Unity中,並佈署於Hololens2裝置上。

示意圖,取自於Microsoft Dynamics 365 Guides


器具裝置之敘述介面

可以設置簡易的工具提示,使用者可以快速得知工具名稱。要進行更為複雜的步驟操作說明,可以設置類似的敘述介面設計,並且可以搭配眼動追蹤來點選上下步驟。

取自於MRTK

取自於Microsoft Dynamics 365 Guides

而整體的操作感覺,會如下圖三所示。

圖三、取自於Microsoft Dynamics 365 Guides


圖像、影片播放功能

使用文字敘述介面來指引使用者進行操作,仍有不足之處。因此會在適當的操作項目,從旁加入圖像或影片播放的功能。圖像可以進行簡易的對錯指引,而影片能夠完整敘述零件操作或是控制的方式。

簡易的對錯指引,取自於Microsoft Dynamics 365 Guides

第一人稱或第三人稱的影片教學,取自於Microsoft Dynamics 365 Guides


遠距操控真實物件

對於已經連接上網路的物聯網裝置,只要透過WiFi方式或與伺服器連線,Hololens2將可遠距控制這些物聯網裝置。

混合實境頭盔與物聯網裝置連線概念,取自於gh-BumsooKim

實際控制的示意圖,取自於gh-BumsooKim


眼動追蹤或手勢偵測

透過眼動追蹤或手勢偵測,可以在不拿起其他裝置下,輕鬆進行步驟點選、播放影片、操作物聯網裝置等功能。

手部追蹤的示意圖,取自於MRTK

眼動追蹤示意圖,取自於MRTK



如果您有任何問題的話,可以透過信箱與我們聯絡 stanleyzhang@quasitek.info