去年，當安德烈·多羅尼切夫在社交媒體上看到一段視頻似乎顯示烏克蘭總統向俄羅斯投降時，他感到震驚。
該視頻很快被揭穿為合成生成的深度造假，但對 Doronichev 先生來說，這是一個令人擔憂的預兆。 今年，他的恐懼逐漸接近現實，因為公司開始競相增強和發佈人工智能技術，儘管它可能會造成嚴重破壞。
生成式 AI 現在對任何人都可用，而且它越來越有能力用似乎由人類構思和捕獲的文本、音頻、圖像和視頻來愚弄人們。 社會輕信的風險引發了對虛假信息、失業、歧視、隱私和廣泛的反烏托邦的擔憂。
對於多羅尼切夫先生這樣的企業家來說，這也成為了一個商機。 現在有十幾家公司提供工具來識別某些東西是否是用人工智能製作的，名稱包括 Sensity AI（深度偽造檢測）、Fictitious.AI（剽竊檢測）和 Originality.AI（也稱剽竊）。
土生土長的俄羅斯人 Doronichev 在舊金山成立了一家名為 Optic 的公司，以幫助識別合成或欺騙材料——用他的話來說，就是“用於數字內容的機場 X 光機”。
3月，揭曉 一個網站 用戶可以在其中檢查圖像，看看它們是由真實照片還是人工智能製作的。 它正在開發其他服務來驗證視頻和音頻。
“內容的真實性將成為整個社會的一個主要問題，”多羅尼切夫先生說，他是一款名為 Reface 的換臉應用程序的投資者。 “我們正在進入廉價假貨的時代。” 他說，由於製作虛假內容的成本不高，因此可以大規模製作。
根據市場研究公司 Grand View Research 的數據，到 2030 年，整個生成人工智能市場預計將超過 1090 億美元，在此之前平均每年增長 35.6%。 專注於檢測技術的企業是該行業中不斷增長的一部分。
在一名普林斯頓大學學生創建幾個月後，GPTZero 聲稱已有超過一百萬人使用其程序來識別計算機生成的文本。 Reality Defender 是其中之一 414家公司 今年冬天，創業加速器 Y Combinator 從 17,000 份申請中選出。
抄襲 去年籌集了 775 萬美元，部分用於擴大其為學校和大學提供的反剽竊服務，以檢測學生作業中的人工智能。 哨兵，其創始人專門為英國皇家海軍和北大西洋公約組織從事網絡安全和信息戰，在 2020 年完成了 150 萬美元的種子輪融資，該輪融資得到了 Skype 的一位創始工程師的部分支持，以幫助保護民主國家免受 deepfakes 和其他惡意合成媒體。
主要科技公司也參與其中：英特爾的 假捕手 聲稱能夠以 96% 的準確率識別 deepfake 視頻，部分是通過分析像素來尋找人臉上血流的細微跡象。
在 聯邦政府國防高級研究計劃局計劃花費 近3000萬美元 今年將運行 Semantic Forensics，這是一個開發算法的程序，可以自動檢測 deepfakes 並確定它們是否是惡意的。
就連去年底發布 ChatGPT 工具時推動人工智能繁榮的 OpenAI 也在致力於檢測服務。 這家總部位於舊金山的公司首次亮相 免費工具 1 月幫助區分由人類編寫的文本和由人工智能編寫的文本。
OpenAI 強調，雖然該工具是對過去迭代的改進，但它仍然“不完全可靠”。 該工具正確識別了 26% 的人工生成的文本，但錯誤地將 9% 的人類文本標記為計算機生成的。
OpenAI 工具存在檢測程序中的常見缺陷：它難以處理短文本和非英語寫作。 在教育環境中，TurnItIn 等剽竊檢測工具被指控 不准確地 分類 由聊天機器人生成的學生撰寫的論文。
檢測工具本質上落後於它們試圖檢測的生成技術。 當防禦系統能夠識別新的聊天機器人或圖像生成器（如 Google Bard 或 Midjourney）的工作時，開發人員已經提出了可以規避該防禦的新迭代。 這種情況被描述為一場軍備競賽或一種病毒與反病毒的關係，其中一個人一遍又一遍地生另一個人。
“當 Midjourney 發布 Midjourney 5 時，我的發令槍響了，我開始努力追趕——當我這樣做的時候，他們正在開發 Midjourney 6，”大學計算機科學教授 Hany Farid 說加州伯克利分校，專攻數字取證，也涉足人工智能檢測行業。 “這是一種天生的對抗性遊戲，當我在檢測器上工作時，有人正在建造一個更好的捕鼠器，一個更好的合成器。”
紐約大學政治學教授兼社交媒體與政治中心聯合主任約書亞·塔克 (Joshua Tucker) 表示，儘管不斷追趕，但許多公司已經看到學校和教育工作者對人工智能檢測的需求。 他質疑在 2024 年大選之前是否會出現類似的市場。
“我們是否會看到這些公司的平行翼正在發展以幫助保護政治候選人，這樣他們就可以知道他們什麼時候成為這類事情的目標，”他說。
專家表示，合成生成的視頻仍然相當笨拙且易於識別，但音頻克隆和圖像製作都非常先進。 區分真假將需要數字取證策略，例如反向圖像搜索和 IP 地址跟踪。
可用的檢測程序正在用“與野外截然不同的例子進行測試，在野外，圖像一直在流傳，經過修改、裁剪、縮小、轉碼和註釋，天知道它們還發生了什麼，”法里德先生說。
“內容的洗白使這成為一項艱鉅的任務，”他補充道。
由 1,000 家公司和組織組成的聯盟 Content Authenticity Initiative 是一個試圖讓生成技術從一開始就顯而易見的團體。 （它由 Adobe 領導，其成員包括紐約時報和 Stability AI 等人工智能參與者）該組織不是在其生命週期的後期拼湊圖像或視頻的來源，而是試圖建立適用的標準創建時對數字作品的可追溯憑證。
Adobe 上週表示，其生成技術 Firefly 將 集成到谷歌吟遊詩人，它將在其製作的內容上附加“營養標籤”，包括圖像的製作日期和用於創建圖像的數字工具。
幫助驗證消費者身份的公司 Persona 的信任和安全架構師 Jeff Sakasegawa 表示，人工智能帶來的挑戰才剛剛開始。
“這股浪潮正在形成勢頭，”他說。 “它正在向岸邊駛去。 我認為它還沒有崩潰。”
