如何写更好的安全文章？--学习笔记

本文主要是对S&P 2022的论文“Flawed, but like democracy we don’t have a better system”: The Experts’ Insights on the Peer Review Process of Evaluating Security Papers” 给出的附件RecommendationsToWriteBetterSecurityPapers进行了简单的总结。

感兴趣的可以直接看原文：https://github.com/sonejiananta/Security-Review-Process/blob/main/RecommendationsToWriteBetterSecurityPapers.pdf

文章给出了如下建议：

1. An informative title
2. A well articualted problem statement
3. A good literature review
4. A clear methodology
5. Comprehensive experiments
6. Clear, concise and factual results
7. A self-contained evaluation

An informative title

标题通常是读者看的第一眼的地方，也是文章的最重要的一部分。标题奠定了研究的主题。虽然审稿人说标题对于选择审稿的论文很有用，但是决定拒绝或者接收一篇论文，并不依赖于标题。审稿人选择审稿的论文很依赖于标题，这就让他们希望审稿的内容和标题是相关的。如果论文不是和标题相关，这个论文就会被分配给其他人，有可能不是这个领域的专家，从而导致论文的接收机会变低。总之，标题还是很重要的！为此，文章给出了以下五个建议：

• 副标题中带一点描述性的短语在安全研究论文中很常见。这些描述性的短语可以是用来解决研究问题的方法或者技术。
• 一个好的论文标题能够以一种精妙的方式展现文章的主要结果。
• 一个开玩笑的标题会在记忆中保留很久，并且很有标识。但是并不意味着作者可以用这类标题去混淆文章的重要性。
• 一个好的标题应当反应文章的创新性。
• 标题应该和文章相关，不能误导文章的贡献。

A well articulated problem statement

论文中好的引言对读者来说很重要。引言需要包含三个主要的模块：

• summarization of prior works to help the reader understand the research problem and the motivation behind attempting to solve the problem
• clear explanation on how your work will fill the gap
• the impacts and the contributions that your work will have on the community

几乎所有的参加者（审稿人）认为在安全论文中，要慎密地说好研究问题。然而，当问及对这部分的满意程度时，6个审稿人认为一些作者没能把问题说好，并且认为合格的问题描述的满意度在均值以下。但是top4的会议的论文基本都有一个清晰的问题描述，清晰的贡献，清晰的上下文等等。

但也不可否认，有些论文的故事要更难讲好。比如，一篇论文是降低某个防御机制的性能开销，这个故事讲起来就比较直接。但是有的论文就比较复杂，尤其是那种开创一个新方向的论文。

接下来将讨论审稿人的期待以及写一个清晰令人信服的问题描述的重要性：

• 一个恰当的问题描述（ A properly articulated problem statement ）能够让理解文章更加容易。
• 引言能够帮助理解论文是关于什么的。motivation章节需要有个motivating example来描述文章作者要解决的一个问题。如果有一个好的motivation，那么就是一个好的introduction。
• 一个恰当的问题描述能够让审稿人写一个短的overview。如果很难根据引言来写overview，那么论文就需要进一步的润色。
• 一个恰当的问题描述需要提交文章要解决的research question。它能够帮助审稿人评估research question是否已经被解决了。同时也能验证论文的正确性。
• 如果拿到一个weak reject，那么很有可能是问题没有清晰的阐明，并且贡献部分也不清晰。
• 一个恰当的问题描述能够让审稿更加简单，并且更容易地应用审稿的评估标准。

A good literature review

一个好的文献综述能够概览当前领域的工作，并且解释当前工作在研究领域解决哪些问题，现阶段还有哪些问题存在。审稿人一致认为一个好的文献综述十分重要。

• 相关工作能够说清楚论文的创新性。
• 假设论文没有一个好的文献综述。审稿人就会觉得，论文作者没有和最先进的工作比较，怎么能够证明他的工作是最先进的，怎么能说明他的方法是sound。
• 夸奖其他的工作也是重要的，和前人工作对比的时候，需要保证公平性。

A clear methodology

方法部分描述了研究者探索研究问题所采取的步骤。它准确的解释了解决问题的过程和技术，并且可以让审稿人去评估研究工作的有效性和可靠性。这里提两个建议：

• implement 章节可以短些，介绍下用了哪些工具或者怎么实现的。
• 没有提到安全模型是大忌。

Comprehensive experiments

审稿人对于实验有不同的看法。其中一个认为没有人能够做到complete或者sound，每个工作都会牺牲一部分来换取另外一部分。实验部分的建议如下：

• 实验需要全面，但不一定要完整。
• 实验需要正确并且可理解。
• 应遵循该领域的最佳做法，以便进行更好的试验。
• 小论文只是研究的一个缩影，如果可以的话，学生可以在他们的学位论文中做更多的实验。

Clear，concise and factual results

结果部分是研究者展示工作的发现的地方。结果需要满足以下几个要求：

• 结果需要和论文中说的匹配，并且没有overclaim或者说错了。
• 作者应该探索论文中不同结果的trade-off，以及通过变化参数来发现结果的敏感性。
• 作者应该用事实和分析来报告他们的结果。也需要讨论数据集，偏见和局限性。结果需要清晰地展示作者想展示的，并且解释为什么这些结果是重要的。
• 在密码学中，论文需要有一个定理来解释做了啥和协议是如何构造。审稿人期待作者能够清晰构造到底做了啥。如果是一个攻击的话，攻击是什么样的，然而详细分析。
• 作者需要指出他们的事实，并且分析结果，不要让审稿人自己从结果中发现优点。
• 审稿人期望他们能够下载作者的代码，并且得到相似的结果。
• 结果部分需要详细地描述数据集和假设，并且阐述不同参数的使用情况。

A self-contained evaluation

一个慎密和全面的评估，通常是以作者想要回答的问题来开始。这些问题描述了评估的目的和作者尝试评估的东西。审稿人认为最好的实践论文是把他们的工作同步在社区里。比如fuzzing这种工作，就有很多文章把工作放在社区里。

文章给出了几个建议：

• 全面和有价值的数据集能够帮助审稿人评估论文的评估部分。
• 评估部分需要评估相关工作，并且确保比较的公平性。
• 需要能够让审稿人理解研究工作结果的性能影响。
• 审稿人对于一些创新性的工作不会期待一个慎密的评估。因为没有人做过，也没有ground truth去进行对比。