全球新視野

ChatGPT 生成 21 個程序和腳本,不會主動提醒用戶這(研究人員發現英語)

admin

研究人員發現英語

IT之家 4 月 23 日消息,ChatGPT 聊天機器人可以根據用戶的輸入生成各種文本,包括代碼。然而,加拿大魁北克大學的四名研究人員發現,ChatGPT 生成的代碼往往存在嚴重的安全問題,不會主動提醒用戶這些問題,只有在用戶詢問時才會承認自己的錯誤。

研究者在一篇論文中介紹了他們的發現,IT之家查看了這篇論文,發現了這篇論文。 ChatGPT 生成了 21 所涉及的程序和腳本 C、C 、Python 和 Java 等語言。這些程序和腳本都是為了顯示一些特定的安全漏洞,如內存損壞、拒絕服務、反序列化和加密實現。結果顯示,ChatGPT 第一次嘗試時生成的 21 只有一個程序 5 一個是安全的。在進一步提示糾正錯誤步驟后,大型語言模型試圖生成 7 一個更安全的應用程序,但這只是一個與正在評估的特定漏洞相關的“安全”,并不意味著最終代碼中沒有其他可用的漏洞。

研究人員指出,ChatGPT 部分問題是它沒有考慮敵對的代碼執行模型。它會反復告訴用戶,安全問題可以通過“不輸入無效數據”來避免,但這在現實世界中是不可行的。然而,它似乎意識到并承認了它建議的代碼中的關鍵漏洞。

魁北克大學計算機科學與工程教授和論文的合作者之一 Rapha?l Khoury 告訴《The Register》:“顯然,這只是一個算法。它什么都不知道,但它能識別出不安全的行為。他說,一開始 ChatGPT 對安全問題的回應是,建議只使用有效的輸入,這顯然是不合理的。只有在以后被要求改進問題時,才能提供有用的指導。

研究人員認為,ChatGPT 這種行為并不理想,因為用戶知道問什么問題需要對特定的漏洞和編碼技術有一定的了解。

研究人員還指出,是的 ChatGPT 有道德上的不一致性。它會拒絕創建攻擊代碼,但它會創建有漏洞的代碼。他們舉了一個。 Java “聊天機器人生成了一個有漏洞的代碼,并提出了如何使其更安全的建議,但說它不能創建一個更安全的代碼版本?!?/p>

Khoury 認為,ChatGPT 在目前的形式下是一種風險,但這并不意味著沒有合理使用這種不穩定、表現不佳的風險 AI 助手的方法?!拔覀円呀浛吹綄W生使用這個工具,程序員也會在現實中使用它?!八該碛幸粋€生成不安全代碼的工具是非常危險的,”他說。我們需要讓學生意識到,如果代碼是用這種工具生成的,那么它很可能是不安全的。他還說,讓他驚訝的是,當他們讓他驚訝的時候, ChatGPT 當生成相同任務的不同語言的代碼時,有時會生成一種語言的安全代碼,而對于另一種語言,它會生成一個有漏洞的代碼,“因為這個語言模型有點像一個黑盒子,我真的沒有很好的解釋或理論來解釋這一點?!?/p>

欧美97hd