fakerth的博客

存储系统通常有许多影响其行为的参数。调优这些参数可以显著提高性能。手动和自动调优方法由于大量的参数和指数数量的可能配置而挣扎。由于先前的研究表明，一些参数比其他参数对性能的影响更大，因此专注于少数更重要的参数可以加快自动调优系统的速度，因为它们将具有更小的状态空间来探索。在本文中，我们提出了Carver，它使用(1)基于方差的度量来量化存储参数的重要性，(2)拉丁超立方体采样(Latin Hypercube Sampling)对巨大的参数空间进行采样;

在科学计算中，I/O效率对于生产力至关重要，但是HPC系统和应用程序日益复杂，使得理解和优化大规模I/O行为的工作变得复杂。基于数据驱动的机器学习的I/O吞吐量模型提供了一种解决方案:它们可用于识别瓶颈、自动进行I/O调优，或以最少的人为干预优化作业调度。不幸的是，当前最先进的I/O模型对于生产使用不够健壮，并且在部署后表现不佳。我们分析了两个领先级HPC平台上四年的应用程序、调度器和存储系统日志，以了解I/O模型在实践中表现不佳的原因。

计算科学应用正在推动对日益强大的存储系统的需求。虽然有许多技术可用于捕获单个应用程序试运行和存储系统特定组件的I/O行为，但对于具有数十万个计算核心和多个pb存储的系统来说，持续表征生产系统仍然是一项艰巨的挑战。因此，在设计这些存储系统时，通常没有清楚地了解它们将支持的各种计算科学工作负载在本研究中，我们概述了一种可扩展的、连续的、系统范围的I/O表征方法，该方法结合了存储设备检测、静态文件系统分析和捕获详细应用程序级行为的新机制。

现代HPC系统正在收集大量的I/O性能数据。然而，这些数据的庞大数量和异构性给及时进行深度综合分析带来了困难。为了克服这个困难并允许用户识别应用程序I/O性能差的根本原因，我们提出了IOMiner，一个I/O日志分析框架。IOMiner提供了一个易于使用的接口来分析仪器数据，一个统一的存储模式来隐藏原始仪器数据的异构性，以及一个基于扫描线的算法来分析应用程序I/O性能差的根本原因。IOMiner在Spark之上实现，以促进高效、交互式、并行的分析。

这篇文章描述了一个成功的大型卷积神经网络在ImageNet LSVRC-2010比赛中的训练过程，取得了top-1和top-5错误率分别为37.5％和17.0％的成绩。该神经网络具有6000万个参数和65万个神经元，包括五个卷积层，一些后面跟着最大池化层，以及三个全连接层，最后使用1000-way softmax进行分类。为了加快训练速度，使用了非饱和神经元和卷积的GPU实现。为了减少全连接层中的过拟合，作者采用了一种名为“dropout”的技术。

Mercury

GekkoFS主要是面向HPC领域，用于保存临时数据，而不是持久化的存储系统，所以就没有考虑数据的可用性（副本或者EC机制）和元数据的高可用等分布式系统的关键问题。核心目标就是追求文件系统的性能，所以有如下的亮点可供学习参考：1.通过截获linux系统调用实现lib库形式的客户端访问：客户端是在用户态实现的通过截获linux系统调用而实现的动态库。既不用实现一个VFS kernel客户端，省去了linux内核编程的复杂和难度；也不用实现基于fuse的用户态客户端，避免使用fuse而产生的性能损耗的问题。

VGG