我們一向在等待機械人能在我們的平常生涯中施展主要的感化，而作為機械人強國的日本也一向是這一范疇的引導者之一。近日，日本年夜阪年夜學和日本迷信枝術復興機構（JST）ERATO ISHIGURO 共生人機交互項目（Symbiotic Human-Robot Interaction Project）的研討者在 arXiv 提交了一篇論文，引見了他們在機械人的社會智能上的研討結果。別的值得一提的是，他們的試驗用到了有名的 Pepper 機械人。 摘要 要讓機械人與人類在相似我們社會那樣的社會世界中共存，它們須要控制相似人類的社交技巧，這是很癥結的。經由過程編程的方法來讓機械人控制這些技巧是很艱苦的。在這篇論文中，我們提出了一種多模態深度 Q 收集（MDQN：Multimodal Deep Q-Network），可讓機械人經由過程試錯的辦法來進修相似人類的交互技巧。這篇論文的目的是開辟可以或許在與人類的交互進程中搜集數據而且可以或許應用端到真個強化進修從高維度傳感信息中進修人類交互行動的機械人。本論文注解，機械人在經由了與人類的 14 天交互以后，可以勝利學會根本的交互技巧。 圖 1：機械人向人進修社交技巧 算法引見 這里提出的算法由兩個自力任務的流構成：一個用于處置灰度幀（grayscale frame），另外一個用于處置深度幀（depth frame）。 上面的 Algorithm 1 概述了這個算法。由于該模子有兩個流，由于其參數 θ 和 θ- 是由兩個收集的參數組成的。和 DQN [10] 分歧，我們將數據生成階段和練習階段離開了。每天的試驗都對應于一個 episode，在這時代，算法要末履行數據生成階段，要末履行練習階段。 本研討所提出的算法的偽代碼 以下是這兩個階段的簡述： 數據生成階段（data generation phase）：在數據生成階段，體系應用 Q 收集 Q(s, a; θ) 來與其情況停止交互。該體系會不雅察以后場景（由灰度幀和深度幀組成），并應用 ε-greedy 戰略來采用行為。該情況又會反過去供給標量的嘉獎（reward）（請參閱 5(2) 節懂得嘉獎函數的界說）。交互閱歷是 其被存儲在重放記憶 M 中。重放記憶 M 會保留 N 個比來的閱歷，然后這些閱歷會在練習階段被用于更新該收集的參數。 練習階段（training phase）：在練習階段，該體系會應用存儲在重放記憶 M 中的數據來對收集停止練習。超參數 n 表現閱歷重放的數目。關于每次閱歷重放，都邑從無限年夜小的重放記憶 M 中隨機采樣出一個包括 2000 次交互閱歷的迷你緩存器 B。該模子會在從緩存器 B 中采樣出的 mini batch 長進行練習，該收集的參數會在 bellman targets 的偏向上迭代式地更新。這個對重放記憶的隨機采樣會打破樣本之間的相干性，由于尺度的強化進修辦法假定樣本是自力的且完整散布式的。將該算法分紅兩個階段的緣由是為了不延遲——假如該收集在交互時代同時停止練習就會發生這類延遲。該 DQN [16] 署理在一個輪回中任務，個中它起首會與情況停止交互，然后會將這個改變存儲到重放記憶中，然后其會從該重放記憶中采樣出 mini batch，并在這個 mini batch 上練習該收集。這個輪回會賡續反復，直到終止。這個交互和練習的次序進程在 HRI 以外的范疇或許是可以接收的。在 HRI 范疇，署理必需基于社會標準來和人類停止交互，是以機械人的任何停留和延遲都是弗成接收的。是以，我們將該算法分紅了兩個階段：在第一個階段，機械人經由過程與人類停止無限時光的交互來搜集數據；在第二個階段，其進入階段。在這個歇息階段，練習階段激活從而對該多模態深度 Q 網路（MDQN）停止練習。 完成細節 這個模子由兩個流（stream）組成，一個用于灰度信息，另外一個用于深度信息。這兩個流的構造是完整雷同的，每一個流都由 8 個層構成（包含輸出層）。全體模子架構如圖 2 所示。 圖 2：雙流式卷積神經收集 該多模態 Q 收集的 y 信道和 depth 信道的輸出分離是灰度圖象（198 × 198 × 8）和深度圖象（198 × 198 × 8）。由于每一個流都應用 8 幀輸出，是以，來自對應相機的最新的 8 幀是被預處置后堆疊到一路，組成該收集的每一個流的輸出。由于這兩個流是完整一樣的，所以我們在這里只評論辯論一個流的構造便可。198 × 198 × 8 的輸出圖象起首被傳遞給第一個卷積層（C1），其以 3 的步幅卷積盤算 9×9 的 16 個濾波器，前面則隨著一個整流線性單位（ReLU）函數并獲得每一個年夜小為 64×64 的 16 個特點圖（我們將其記為 16@64×64）。這個來自 C1 的輸入然后會被送入下采樣層 S1，其以 2×2 的步幅運用 2×2 的最年夜池化（max-pooling）。第二（C2）和第三（C3）個卷積層分離卷積盤算 32 和 64 個濾波器，其年夜小為 5×5，應用了 1 的步幅。C2 和 C3 的輸入經由過程非線性 ReLU 函數，然后分離被送入下采樣層 S2 和 S3。最初的隱蔽層是帶有 256 個整流單位的全銜接層。輸入層則是一個全銜接的線性層，帶有 4 個單位，每個單位對應一個正當舉措。 圖 3：勝利和不勝利的握手示例 圖 4：在經由了一系列的 episode 以后，MDQN 在測試數據集上的表示
