人類非常善于通過觸摸來弄清楚物體是什么（例如在黑暗中摸索眼鏡或手機(jī)）。工程師希望機(jī)器人也能效仿這種能力。這樣做的一種方法是收集盡可能多的關(guān)于人類實際上如何通過觸摸識別的信息。原因在于，如果有足夠大的數(shù)據(jù)庫，那么機(jī)器學(xué)習(xí)可以用來進(jìn)行分析，不僅可以推斷人手如何識別某物，還可以估計其重量 - 機(jī)器人和假肢難以做到這點。
麻省理工學(xué)院正在通過配備550個壓力傳感器的低成本針織手套收集這些數(shù)據(jù)。手套連接到計算機(jī)，計算機(jī)收集數(shù)據(jù)，壓力測量結(jié)果被轉(zhuǎn)換為視頻“觸覺地圖”并被輸入卷積神經(jīng)網(wǎng)絡(luò)（CNN）。該網(wǎng)絡(luò)能對圖像進(jìn)行分類，找出特定的壓力模式并將其與特定的物體相匹配。
該團(tuán)隊從26個常見物體（如飲料罐、剪刀、網(wǎng)球、勺子、鋼筆和馬克杯）中收集了135,000個視頻幀。然后，神經(jīng)網(wǎng)絡(luò)將半隨機(jī)幀與特定的夾點相匹配，直到建立了一個物體的完整圖片 - 這與人們通過在手中滾動物體來識別物體的方式非常相似。通過使用半隨機(jī)圖像，可以給網(wǎng)絡(luò)提供相關(guān)的圖像集群，因此不會在無關(guān)數(shù)據(jù)上浪費時間。
“我們希望最大化框架之間的差異，為我們的網(wǎng)絡(luò)提供最好的輸入，”CSAIL 博士后Petr Kellnhofer說?！皢蝹€群集中的所有幀都應(yīng)該具有類似的簽名，這些簽名代表了抓取對象的類似方式。從多個群集中采樣模擬人類交互式嘗試探索物體時找到不同的抓取方式?！?/p>
該系統(tǒng)目前識別物體的精確度為76％，其還可以幫助研究人員了解手掌握和操縱它們的方式。為了估計重量，研究人員還編制了一個11,600幀的單獨數(shù)據(jù)庫，顯示在跌落之前用手指和拇指拾取物體。通過在物體被保持時測量手周圍的壓力，然后在跌落后比較它，可以測量重量。
該系統(tǒng)的另一個優(yōu)點是成本和靈敏度。類似的傳感器手套價值數(shù)千美元，卻只有50個傳感器。而麻省理工學(xué)院的手套則采用現(xiàn)成的材料，成本僅為10美元。
