機器通過處理從傳感器收集的數據來學習的能力，是自動駕駛汽車，醫療設備和許多其他新興技術的基礎。普林斯頓大學的研究人員發現，這種學習能力使系統容易受到黑客的攻擊。

普林斯頓大學研究團隊研究了應用于人工智能(AI)的對抗策略如何例如欺騙交通效率系統導致僵局或操縱與健康相關的AI應用程序以揭示患者的私人醫療狀況。歷史。作為這種攻擊的一個例子，該團隊將駕駛機器人對道路標志的感知從限速更改為“停止”標志，這可能導致車輛以高速公路速度危險地剎車。在其他示例中，他們將停車標志更改為多種其他交通指示。

普林斯頓大學電氣工程系首席研究員兼副教授Prateek Mittal說：“如果機器學習是未來的軟件，那么我們將在確保其安全的基礎上邁出第一步。” “為了使機器學習技術發揮其全部潛力，我們必須了解在對手面前機器學習的工作原理。那就是我們面臨的巨大挑戰。”

正如軟件容易受到計算機病毒的攻擊和感染，或者其欺詐者通過網絡釣魚和其他破壞安全性的手段將其作為用戶的目標一樣，基于AI的應用程序也具有自身的漏洞。然而，適當保障措施的部署滯后。到目前為止，大多數機器學習的開發都發生在良性，封閉的環境中，與現實世界截然不同。