科技

AI大佬教你如何中頂會：寫論文也要關注「敘事」

05月13日 15:11 新浪網 tech-auto-hilite

聞樂發自凹非寺

量子位 | 公眾號 QbitAI

NeurIPS投稿數量破紀錄了！Deadline還有不到一個月，如何讓論文更容易中？

大佬的論文撰寫指南它來了。

來自Google DeepMind的Neel Nanda在指導了20多篇論文之後，發佈了一則關於如何寫好機器學習論文的指南。

旨在幫助研究者將研究成果轉化為高質量、科學誠信的論文，解決在表達上「晦澀難懂」的痛點。

讓我們一起來看看一篇優秀的論文該怎麼寫吧。

What? How? So what?

Neel Nanda認為，研究只有被人們閱讀、理解、參與，甚至理想情況下相信時，才會有意義。

並且他提到理想論文的精髓在於敘事：講述一個簡短、嚴謹、基於證據的技術故事，并包含讀者關心的要點。

What?——一到三個符合連貫主題的具體新穎主張。

How?——你需要嚴謹的實證證據來令人信服地支持你的主張。

So what?——讀者為什麼要關心呢？

寫論文要將研究壓縮為核心主張，並用嚴格的實驗證據支持，同時要讓讀者明白研究的動機、問題及影響。

論文寫作關鍵要素

構建敘事

從研究中提煉出令人感興趣、重要且獨特的結果作為核心主張（1-3個具體新穎的主張），構成一個連貫主題，形成有價值的結論。
把握寫作時機

列出研究收穫，審視其能否為結果提供有力證據，深入思考他人關注該研究的原因，聚焦難點和亮點。在準備進入寫作階段前，必須要認真檢查關鍵實驗。
突出新穎性

成果要能拓展知識邊界。通過明確闡述與前人工作的差異來展現新穎性，可借助LLMs瞭解前人研究。
提供嚴謹證據

通過實驗提供證據，實驗需要能區分假設，具備可靠性、低噪聲和統計嚴謹性。進行消融研究，考慮未知因素，避免誤導性證據，注重證據質量和多樣性，選好基線並提供詳細實驗細節。

論文結構解析

摘要：激發閱讀興趣，簡潔呈現核心主張、研究影響，解釋關鍵主張及依據，給出研究的重要結論和意義。作者以《Refusal in Language Models Is Mediated by a Single Direction》這篇文章為例，對其摘要進行了逐行解析。

引言：介紹研究背景、技術背景，闡述關鍵貢獻、核心證據和研究意義，以列表形式呈現主要貢獻。
正文：涵蓋背景、方法和結果，解釋相關術語和技術，說明實驗方法、應用過程和結果，依實驗情況合理組織內容。
討論：闡述研究局限性，探討研究的更廣泛影響、啟示和未來方向。
相關工作：說明與前人研究的差異，解釋自身工作的價值，可後置，除非對論文動機有重要作用。
附錄：放置不適合在正文呈現的信息，對正文起補充作用，寫作標準相對較低。

寫作流程建議

先壓縮研究內容，明確核心主張、動機和關鍵證據，批判性評估；再迭代擴展，從要點敘事開始，逐步完成引言、全文大綱、初稿，不斷修改完善。

常見問題及應對策略

針對過度關注發表、內容複雜冗長、忽視寫作過程等問題，作者建議先專注科研再優化投稿，使用簡潔語言，重視寫作過程，合理安排時間。

細心的網民還發現，Neel Nanda的這份論文寫作指南與《Nature》的帶註釋的指南在理解上趨於一致。

關於Neel Nanda

Neel Nanda是GoogleDeepMind的一名資深研究科學家，領導著機械可解釋性團隊。

他在劍橋大學讀了純數學本科（2020 年畢業），並在量化金融領域實習過（Jane Street和Jump Trading），畢業後花了一年時間探索人工智能安全，在人類未來研究所、DeepMind和人類兼容人工智能中心實習。

之後，他在Anthropic（OpenAI前高層創立的一家人工智能安全和研究公司，主要產品有Claude系列）擔任語言模型可解釋性研究員。目前在GoogleDeepMind負責機械可解釋性團隊。

主要研究成果：

Neel Nanda在相關領域發表了多篇論文，如《Progress measures for grokking via mechanistic interpretability》、《A toy model of universality: reverse engineering how networks learn group operations》等。

他還開發了一些工具和資源，包括用於語言模型機械可解釋性的Transformer Lens庫、全面的機械可解釋性解釋器和術語表，以及一個關於機械可解釋性的 YouTube 頻道，上面有許多論文講解和實時研究講解。