![]() |
長沙弗賽德自動化技術有限公司
主營產品: 清洗機溫度傳感器,蒸餾水機溫度傳感器,純化水機溫度傳感器,洗瓶機溫度傳感器,灌裝機溫度傳感器,帶式干燥機溫度傳感器,配液系統溫度傳感器,CIP/SIP設備溫度傳感器,MVR溫度傳感器 |

![]() |
長沙弗賽德自動化技術有限公司
主營產品: 清洗機溫度傳感器,蒸餾水機溫度傳感器,純化水機溫度傳感器,洗瓶機溫度傳感器,灌裝機溫度傳感器,帶式干燥機溫度傳感器,配液系統溫度傳感器,CIP/SIP設備溫度傳感器,MVR溫度傳感器 |
2017-8-22
無人零售中的傳感器技術
導讀: 無人零售除了應用了計算機視覺等 AI 技術外,還涉及到大規模的傳感器和智能設備,在整個入店、購物到結算的環節,可以說,沒有傳感器技術無人零售那只是一個傳說。
無人零售的技術難點
無人零售已成為線上線下商家的共同搶占的市場高地,而zui終的勝利者必將是看誰先*具備了*成熟、穩定可靠的技術體系,這里我們來關注一下無人零售的技術難點。
1、無人零售的核心問題
打造 無人零售商店zui核心的是要解決“什么商品被誰怎么處理了”這個問題,需要處理的因素有5個:人、人的位置、商品、商品的位置、動作。
動作主要是通過商品與手或貨架的狀態來識別的,例如手進入或退出貨架的手勢、物品在手的狀態識別拿取或放回商品。
商品識別主要是通過初始狀態的選擇,中間狀態通過購物清單核對來縮小識別范圍,降低難度,同時通過雇員保證初始狀態不被破壞。
位置主要通過手機定位、傳感器定位和圖片定位,利用人體姿態識別可以很好的將動作定位到人。
對于超市而言,商品存在兩種狀態——賣掉或沒賣掉;對貨架而言,商品的狀態是在或不在;對顧客而言,商品的狀態是買或不買;對人的手而言,商品的狀態是在手或不在手,進一步簡化成拿起或放回。
它們的關系鏈如下表:
那么如何表示或測量這兩種狀態呢?用相機和傳感器都可以表示該狀態。
a、相機如何處理
在手進入貨架拿取商品前和拿取商品后,對手拍攝 1 組圖片,記為*圖片和第二圖片,對貨架拍攝 1 組圖片,記為第三圖片和第四圖片。比較*圖片和第二圖片的差異,此時需要利用到 CV 算法識別出膚色找到手,從而知道*和第二圖片手勢的差異,識別握姿和舒展姿態,根據兩個姿態在*第二圖片出現的順序可以判斷拿取還是放回。例如,*圖片是握姿,第二圖片是舒展,即放回;*圖片是舒展,第二圖片是握姿,即拿取。
隨后利用膚色找到手后,再識別*第二圖片手邊緣的色差識別商品是否在手,根據前后順序可以判斷拿取或放回。例如,*圖片手邊緣色差較淺,表示沒有商品,第二圖片手邊緣色差較深,表示有商品,即商品在手且是拿取過程。放回同理。
利用第三第四圖片,對貨架進行處理,同樣可以判斷拿取或放回。例如第四圖片比第三圖片多了一個或多個商品,那么就是放回;如果第四圖片比第三圖片少一個或多個商品就是拿取。
b、傳感器如何處理
對重力傳感器來說,商品被拿取,商品減少,重量減少;商品被放回,商品增加,重量增加。所以重量數值變化可以表示拿取或放回。
對于紅外來說,在特定地方,商品被放回,紅外會被遮擋,商品被拿取,紅外不會被遮擋??梢酝ㄟ^紅外遮擋狀態表示拿取或放回。
2、如何有效識別商品
商品的識別應該是難度大的關鍵點之一。
在初始狀態,特定品類的商品被放在特定位置,由相機和傳感器偵測。對相機和傳感器而言,它們只需優先識別少數且特定的商品類及數量。這個相對而言是簡單的。即使圖片無法識別,也可以根據重量識別和篩查。在品類擺放的時候可以選擇易區分的品類擺放一起,所有被拿取的商品記錄在顧客的購物清單里。
困難在中間狀態。由于顧客放回會破壞初始狀態,導致識別難度急劇上升。因為顧客可能放回任意商品,所以商品的識別范圍又擴大到無法解決的情況。
先討論放回后的zui終狀態,一般分成 2 種:放回正確或錯誤。
對于放回正確,識別難度在初始狀態的水平。
對于放回錯誤,存在 3 種情況:放回錯誤但可識別;放回錯誤無法識別;放回錯誤且識別錯誤。
放回錯誤但可識別的情況是因為商品本身易通過圖像和重量識別,此種情況較少。大多數情況是放回錯誤且無法識別或識別錯誤。放回錯誤且無法識別的情況可以給用戶發送消息,讓用戶確認。識別錯誤的情況只能提高算法精度,同時調整判斷極限值,將部分識別錯誤的情況向無法識別裝換,同時及時通知雇員來整理回到初始狀態。
一般而言拿取商品后放回的情況較多,且不放回正確的位置情況也不少,其中放回錯誤且無法識別或識別錯誤又占大多數,放回錯誤但可識別是少數??偟膩碚f無法識別和誤判比例不容忽視,甚至導致整個系統無法工作。
剛才說到,由于顧客放回商品,導致識別范圍擴大到所有商品,這是可以部分解決的。因為商品的每次放回都是基于顧客的前 N 次拿取,他放回的商品必須是之前拿取的商品,所以優先識別顧客的購物清單即可,在這種情況下,識別難度又回到初始狀態相當的水平。
3、如何知道動作發起者的身份?
將商品記錄到動作的發起者身上是一件較為復雜的工程。
識別人大體通過 2 種方式:身體特征或附帶物,例如人臉和手機。人臉識別的精度在室內還在可接受范圍,幾乎可以當做標識。手機也是一個人的標識,通過判斷是誰的手機從而判斷顧客是誰。
4、如何匹配顧客 ID 與商品 ID?
要匹配顧客和商品的 ID,首先要確定人和商品的定位。
關于人的定位,可以用到追蹤系統。手機的 GPS、wifi、藍牙也可以提供較準確豐富的位置信息。
關于商品的定位,紅外、重量感應、相機、商品和貨架初始的問題都是已知的,可以推測出來。例如,通過隔板,將同類商品分在不同的網格種,每個網格對應不同的紅外或重量感應器,可以知道被拿取或放回商品的位置。
通過人和商品的位置匹配,連接了“什么商品”“被誰”兩個因素。
因為成本和技術問題,位置精度是一個很大的問題,再加上這個定位人和商品位置的方案本身的缺陷,顧客和商品的匹配誤差較大。例如,顧客 A 站在商品 A 前,顧客 B 站在商品 B 前,顧客 A 伸手去拿商品 B,這種情況系統是無法準確判斷的。當然可以由顧客確認,但是這僅僅是無力的補救措施。
之前有人提到過 Amazon Go 可能利用多角度的完整的人體姿態識別來定位匹配人—動作—商品的關系。這種方法的關鍵是攝像頭需要很好的視野和足夠的攝像頭。從宣傳視頻來看, Amazon Go 的貨架設計使得zui低層和中間層是無法獲取足夠好的視野,可能的解決方式是依靠對面貨架和天花板的攝像頭。Amazon Go 的貨架構造非常重要,只要再提供一份貨架結構圖或者實物圖就可以進一步推測實施方案。貨架結構包括是否每層都有設想頭,承載商品的承重面的形狀及尺寸,特殊開口和螺絲位置等。
5、總結
通過上述方法,難度沒有憑空想象的難,但是工程量不小。即使動作和商品識別能達到 100%,因為定位方案和精度問題,導致整體的識別存在一定的誤差,而使整個方案無法使用,或者只能部分依靠顧客協助實現。所以 Amazon Go 以及未來的其他無人零售店還只能在小部分范圍內對特定人群使用,例如信用度較高的會員。
顯然,無人商店已成為零售業的新風口,甚至可說是零售業一個新的戰略高地,誰能夠在*時間占據無疑會具備先發優勢,這也是目前像亞馬遜、阿里巴巴這些*涉足的原因,但它距真正全面落地尚需時日,技術是其瓶頸!