Ubiquitous Acoustic Sensing on Commodity IoT device a survey 笔记

II. ACOUSTIC DEVICES AND CHANNELS

A.声音的录制和播放系统：（AGC/PGA作用是放大电压信号以适用于ADC）

B.Acoustic Channel Properties

1.无线信道的特征

• Path loss
• Doppler effects
• Temperature effects
• Reflection Refraction Diffration

2.固体信道

• 声扩散
• 共振

D.physical layers 困难

• I 采样频率选择导致的信号失真问题
• II 在传输过程中引起的噪声问题（扬声器处的薄膜震动会引起噪声的产生）
• III 不确定的时延问题
• IV 在开发声学应用程序时，减少或消除依赖于设备的人工校准。

III. CORE ACOUSTIC SENSING TECHNIQUES

A. Waveform Design

1.Waveforms for Active Sensing

• Pure Tone Signals

它的波形可以表示为一个正弦信号:$sin(2\pi ft+\varphi )$，其声源和接收者的相对速度可以由多普勒公式给出$v=(f_{shifted}-f)\ast c/f$。由于他周期性和浅峰以及抗干扰能力差的原因不适合提取精确的时间信息只适合短距离传输

• FHSS Signals

利用正交的序列迅速改变频谱中载波的频率，他的特点是锐利的峰值和小旁瓣使得多次的反射现象更容易分辨，但是由于它的高敏感性导致噪声对之的影响很大所以只适合于短距离传输

• Chirp Signals

chirp就是频率随时间而变化表达式为$s(t)=Acos(2\pi (f_{min}t+k\ast t^2/2)+\varphi )$其中$k=B/T$表示chirp rate。其峰值的信噪比增益和chirp rate成正比。chirp Signals对噪声多径效应以及多普勒效应均有较号的鲁棒性。

三种信号以及其快速傅里叶变换的结果：

三种信号的横向对比：

2. Waveforms for Communication（modulation）:

• FSK

pure tone调制,用不同频率的pure tone信号表达不同的bit

• OFDM

多个正交子载波调制，高阶会导致信号严重失真，适合短距离通信

• CSS

适用Chirp Signals信号调制，对多径效应、多普勒效应、噪音均有较强的鲁棒性。一个CSS有一个preamble和多个symbols组成不同的preamble和symbols有不同的chirp rate。如图：

波形设计所面对的挑战：

• V 在人类不可听频率的声音具有较窄的宽带在传输过程中衰减过快的问题所以选合适的带宽、频率、信道
• VI 信号调制应要求传输速度快且传输距离远

B. Temporal Feature Extraction

1）Onset Detection:

将信号与reference 信号相乘取得结果中的最大峰（前提是超过预定好的阈值）就是信号的起始位置，但是收到多径效应（NLoS）、噪音、设备异质性的影响

2）Timing Estimation:

deviced-based: 单向或双向感测方法典型地利用互相关来实现采样级别的定时分辨率

1. One-Way Sensing 计算ToA和TDoA需要严格保证同步

   • ToA: 同时发送声信号和同步信号(WIFI Bluetooth or Zigbee) 根据两个信号到达的时间差计算ToA
   • TDoA:发射机同步系统通过将接收的样本与已知的参考信号互相关来获得TDoA。在接收机同步系统中，TDoA是通过将来自不同接收信道的接收样本互相关来计算

2. Two-Way Sensing 不用保证同步但是需要设备更大的陈本,如下图所示计算ToA以及TDoA

   

   • ToA: $t=1/2(t_A^r-t_A^s)-1/2(t_B^r-t_B^s)$
   • TDoA: $t=1/2(t_A^r-t_A^s)+1/2(t_B^r-t_B^s)-(t_C^r-t_C^s)$

deviced-free: 发射和接收来自目标的反射波之间的飞行时间，也可以使用相位信息来实现欠采样级别的分辨率

3）Phase-enabled Fine-grained Timing:

相位调制分为pure tone、FHSS、Chirp signals三种方式：

1.pure tone signals:

将输入信号分别乘以$cos(2\pi ft)$和$cos(2\pi ft+\pi /2)$得到$I和Q$，那么在$s(t)=cos(2\pi ft+\theta )$的绝对相位$\theta$可以被计算出来$\theta =ta{n}^{-1}(Q/I)$，如图所示。相位变化可以通过减去连续的绝对相位来表示出来，如图。

2.FHSS signals

利用接收到的信号$y(n)$和原始的信号$x(n)$，计算得出CSI信息$h(n)=y(n)/x(n)$，我们通常关心与$h(n)$的几个特定下标的$n_s$来表示检测的目标。

通过计算$h(n)$的绝对相位在连续帧中的相位差，我们就可以跟踪目标物体的移动趋势

3.Chirp signals

将延迟的信号和原信号相乘得到混合信号$s_{mixed}=Acos(2\pi \Delta tB/Tt+2\pi f_{min}\Delta t-\pi B/T\Delta t^2)$，所以由这个式子可以得出$f_p=B\Delta t/T$，通过离散傅里叶变换（DFT）得到peak frequency $f_p$从而计算得出$\Delta t$，之后根据相位变化$\varphi (t)=2\pi (f_{min}\Delta t-1/2B/T\Delta t^2)$带入观测到的值相位变化就可以被提取出来

特征提取所面对的挑战：

• VII 远近效应、多径效应、噪音、设备异性导致onset准确率低下
• VIII 在及时性和性能中选择合适的配置

C. Channel Profiling

1）CSI Representation:

• Path Loss, Reflection, Refraction, and Diffraction:

这是把双刃剑，一方面会消弱信号的强度，在另一方面他反射处空间的相关信息可以用于定位（相关谱的应用）。

扼制多径效应可以适用含有丰富声波信息的信号。

• Doppler Effect:

优化方法：1.用传递pure tone测量出的Doppler Effect更准确 2.对同一音调的结果求均值 3.强自干扰的情况下锁定目标引起的声反射采用self-cancellation 和先验信息技术

• Temperature Effect:

温度会影响声波的传播速度，但是速度可以由时间和路程求出，我们有很多方法求出时间，所以用时间表示的CSI对之的计算非常有用

• Acoustic Dispersion:

通过线性插值，我们可以利用波形的曲率来表示CSI，该曲率可能显示距离或材料信息。

当曲率不明显或波形不容易内插时，可以选择幅值谱图或其他常见的声学特征，如MFCC或GFCC。

注意：只有当存在多个频率分量时才能观察到声色散现象

• Acoustic Resonance:

检测共振特性时希望利用高采样率，以便DFT结果可以获得更好的频率分辨率。以此我们可以表示出表示出CSI的峰值频率或频率响应的相应信息。

2）Channel Model Construction:

信道构建基本思想就是将不同状态映射到CSI表示主要分为数据驱动（DD）和模型驱动（MD）

• MD

通过回归来数学地量化CSI和特定应用状态之间的关系，比如将手的移动方向映射到闭合形式的方程中的特定多普勒频移。此外，此方法可能仅适用于CSI为标量变量的情况

• DD

DD法将声学感知视为分类问题，通过直接将CSI映射到各自的应用特定状态来隐式地建立推理模型。该方法更适合于处理CSI为矢量格式时的情况

一个DD的例子就是 fingerprinting：该方法首先以离线的方式分别收集足够的数据(CSIs)，然后利用这些数据利用机器学习算法对模型进行训练。然后根据其输入数据在线预测相应的状态。

3）Challenges for Estimating Channel Characteristics:

• IX 寻找合适的CSI表示方式
• X 构建跨平台声学传感信道模型