音频、视频与语音功能开发及UI集成

# 音频、视频与语音功能开发及UI集成 ## 1. 音频与视频播放 在应用开发中，音频和视频的播放可以显著提升用户体验。音频可用于播放音乐、音效或语音，而视频文件则能让用户观看影片。不过，由于视频文件占用空间较大，使用时需谨慎，以免应用体积过度增加。 ### 1.1 视频播放操作步骤 1. 确保代码中视频文件名和扩展名与项目中添加的视频文件匹配。 2. 点击画布窗格中的预览图标，视频文件将显示出来。 3. 点击播放按钮播放视频文件，此时视频下方会显示文本。 ### 1.2 视频叠加文本 通过在视频上叠加文本，可以为视频提供额外信息。定义叠加文本时，可使用标准的SwiftUI视图，如Text、Spacer()和修饰符来定位文本。 ## 2. 语音功能开发 ### 2.1 语音识别概述 语音框架允许应用识别音频命令，作为点击和手势的补充，还能将语音转录为文本。在使用语音识别前，用户必须授予应用访问麦克风和使用语音识别的权限，并且要让用户了解语音识别可能会将音频数据通过互联网发送到苹果服务器以提高准确性。需要注意的是，只能在实际的iOS设备上测试语音识别，不能在画布窗格或模拟器中测试。 ### 2.2 语音转文本 #### 2.2.1 实现步骤 1. 创建一个新的iOS应用项目，命名为Speech2TextApp。 2. 点击导航窗格顶部的项目名称，然后点击Info标签显示属性。 3. 将鼠标指针移到Key列的任何行上，直到出现+和 - 图标。 4. 点击+图标，弹出菜单后选择“Privacy – Microphone Usage Description”，并在Value列中输入应用需要使用麦克风的简要说明。 5. 再次将鼠标指针移到Key列的任何行上，点击+图标，选择“Privacy – Speech Recognition Usage Description”，并在Value列中输入应用需要启用语音识别的简要说明。 6. 点击导航窗格中的ContentView文件。 7. 在import SwiftUI行下方添加： ```swift import Speech ``` 8. 在struct ContentView: View行下方添加以下代码创建AVAudioEngine类的实例： ```swift let audioEngine = AVAudioEngine() ``` 9. 添加语音识别器并定义检测的语言类型： ```swift let speechRecognizer = SFSpeechRecognizer(locale: Locale(identifier: "en-US")) ``` 10. 添加检测语音音频的请求： ```swift @State var request : SFSpeechAudioBufferRecognitionRequest? ``` 11. 添加一个可选变量来存储识别任务： ```swift @State var recognitionTask : SFSpeechRecognitionTask? ``` 12. 添加一个String类型的State变量来显示转录文本，以及一个布尔类型的State变量： ```swift @State var message = "" @State var buttonStatus = true ``` 13. 添加stopRecording()函数： ```swift func stopRecording() { audioEngine.stop() recognitionTask?.cancel() audioEngine.inputNode.removeTap(onBus: 0) recognitionRequest?.endAudio() } ``` 14. 添加startRecording()函数： ```swift func startRecording() { message = "Start recording" let node = audioEngine.inputNode recognitionRequest = SFSpeechAudioBufferRecognitionRequest() recognitionRequest?.shouldReportPartialResults = true let recordingFormat = node.outputFormat(forBus: 0) node.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, _) in recognitionRequest?.append(buffer) } audioEngine.prepare() do { try audioEngine.start() } catch { return print (error) } guard let recognizeMe = SFSpeechRecognizer() else { return } if !recognizeMe.isAvailable { return } recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest ?? SFSpeechAudioBufferRecognitionRequest.init(), resultHandler: {result, error in if let result = result { let transcribedString = result.bestTranscription.formattedString message = transcribedString } else if let error = error { print(error) } }) } ``` 15. 在var body: some View行下方定义用户界面： ```swift VStack { TextEditor(text: $message) .frame(width: 350, height: 400) Button(buttonStatus ? "Start recording" : "Stop recording", action: { buttonStatus.toggle() if buttonStatus { stopRecording() } else { startRecording() } }) .padding() .background(buttonStatus ? Color.green : Color.red) } ``` #### 2.2.2 测试步骤 1. 通过USB电缆将iOS设备连接到Mac。 2. 选择“Product” ->