大家知道，宣傳中的ChatGPT能夠採用多種語言編寫代碼，包括Python和Java，但最新的一項研究卻讓人驚掉下巴！

根據美國普渡大學最近开展的研究，ChatGPT提交給StackOverflow有關數百個軟件开發問題的回答，有一半以上是錯誤的。

研究人員還發現，與人類用戶在StackOverflow上提交的答案相比，34%的用戶更喜歡ChatGPT給出的答案，盡管AI系統生成的答案中包含一些錯誤。

專家對此表示，如果开發人員繼續依賴ChatGPT來解決他們的編程困境，他們的職業聲譽將面臨風險。

ChatGPT回答編程問題錯誤率過半

ChatGPT是OpenAI於2022年11月推出的聊天機器人，其背後的關鍵技術是GPT大語言模型，其底層模型也被用於創建开發人員廣泛使用的微軟Github編碼助理Copilot。

普渡大學的這項研究首次全面考察了ChatGPT對定期在线分享的問題給出回答的特點和可用性。該團隊讓ChatGPT回答了此前發布在StackOverflow上的517個問題，對比正確答案發現錯誤率超過一半。

隨着ChatGPT在全球各地的風靡，StackOverflow在今年早些時候禁止了AI生成的回復。當時，StackOverflow將ChatGPT給出的答案描述爲“表面上很好，但有很多錯誤”。

StackOverflow的一位發言人當時解釋說:“ChatGPT和其他生成式AI技術給出的答案，對於那些提出問題並尋找正確答案的用戶來說是有害的。”

自從發布以來，OpenAI對ChatGPT平台和底層模型進行了逐步改進，但是來到GPT-4後，其回答仍然不准確。StackOverflow後續也接受並採用了AI技術，但僅僅只是用於對其內容進行分類。

普渡大學在研究中發現，ChatGPT給出的一半以上的答案是錯誤的，因爲它沒有正確理解問題的概念。研究人員在報告中寫道，“即使ChatGPT能夠理解問題，它也無法理解如何解決問題。它經常關注問題的錯誤部分，或者在沒有完全理解問題微小細節的情況下給出高水平的解決方案。”

研究人員還發現，ChatGPT的推理能力也很有限，這導致它在不考慮結果的情況下創造解決方案、代碼和公式。

據報道，OpenAI也已意識到此中不足。作爲應對，OpenAI在ChatGPT中添加了一個代碼解釋器，允許AI在沙箱中運行它創建的代碼，以檢查錯誤並評估輸出質量，驗證最終響應進行更改並提供更准確的解決方案。然而，這一功能仍處於測試階段，而且僅對ChatGPTPlus的用戶可用。

开發人員依賴ChatGPT答案面臨風險

然而，盡管ChatGPT有明顯的缺點，而且77%的回復比人類的回復更冗長，但許多用戶仍然依賴ChatGPT來回答他們有關編程的緊迫問題。

研究員宣稱，“由於ChatGPT的全面性和清晰的語言風格，39.34%的用戶仍然喜歡它給出的答案。我們的研究結果表明，有必要仔細檢查和糾正ChatGPT中的錯誤，同時讓用戶意識到看似正確的ChatGPT答案所帶來的風險。”

IT咨詢和服務提供商DohertyAssociates企業架構總監OwenMorris說，使用AI有很多好處，但也有缺點，用戶在使用ChatGPT等平台之前應該始終考慮到這一點。

他說:“像ChatGPT這樣的工具根據訓練過的數據(包括從互聯網和其他來源抓取的數據)提供見解，但也會保留他們的偏見，因此人類的參與對於准確性和附加值仍然至關重要。重要的是要記住利用自己的團隊，這樣他們就可以貢獻他們自己的領域特定知識和數據，以增強模型的適用性。”

他警告，如果沒有人爲監督將ChatGPT提供的有關軟件开發的回答進行批判性評估，將不正確或有害的信息納入开發工作中，开發人員將面臨很大的風險，包括影響編程質量，甚至影響他們的職業聲譽。

---

標題：AI編程成空談？研究稱ChatGPT回答軟件开發問題的錯誤率超過50%

地址：https://www.utechfun.com/post/249377.html