wanngwe/EmbeddedSoftwareLearn1
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Create README.md

Browse Source
This commit is contained in:
Natsume1710
2025-06-17 16:17:33 +08:00
committed by GitHub
parent 03d2f436d1
commit d6209a5009
1 changed files with 357 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
09-2025_AI_on_MCU/README.md
+357
View File
@@ -0,0 +1,357 @@
# 第九层：2025 新趋势
## ✅ AI on MCU / Edge AI
### 🔹 TinyML / TensorFlow Lite Micro
#### 1. **概念与优势**
- **TinyML**：将机器学习模型部署到资源受限的微控制器（MCU）上，实现边缘智能。
- **优势**：
- **低延迟**：本地处理数据，无需云端交互。
- **低功耗**：适合电池供电的物联网设备。
- **隐私保护**：敏感数据无需上传。
- **离线运行**：在网络中断时仍能工作。
#### 2. **开发流程**
1. **模型训练**：
使用TensorFlow/Keras等工具在PC上训练模型。
```python
# 简单MNIST模型示例
model = tf.keras.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)
```
2. **模型量化**：
将浮点模型转换为整数模型，减少内存占用和计算量。
```python
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
```
3. **模型部署**：
将量化后的模型转换为C数组，集成到MCU项目中。
```bash
xxd -i model.tflite > model_data.cc
```
4. **MCU推理**：
使用TensorFlow Lite Micro框架在MCU上运行模型。
```c
// 初始化解释器
tflite::MicroErrorReporter micro_error_reporter;
const tflite::ErrorReporter* error_reporter = &micro_error_reporter;
const tflite::MicroOpResolver& op_resolver = MicroOpsResolver();
const tflite::SimpleTensorAllocator tensor_allocator(tensor_arena, kTensorArenaSize);
tflite::MicroInterpreter interpreter(model_data, model_data_len, op_resolver,
tensor_allocator, error_reporter);
// 运行推理
TfLiteStatus invoke_status = interpreter.Invoke();
if (invoke_status != kTfLiteOk) {
error_reporter->Report("Invoke failed\n");
}
```
#### 3. **性能指标**
| **模型** | **参数量** | **激活内存** | **准确率** | **推理时间（STM32H7）** |
|----------------|------------|--------------|------------|-------------------------|
| MobileNetV1 | 4.2M | 16MB | 70.6% | 800ms |
| TinyMLNet | 0.02M | 0.2MB | 68.2% | 5ms |
| EfficientNet-Lite0 | 4M | 12MB | 75.0% | 600ms |
### 🔹 STM32 AI 开发套件
#### 1. **硬件平台**
- **STM32H7系列**：高性能MCU，支持DSP和FPU，适合运行复杂AI模型。
- **STM32L4+系列**：低功耗MCU，集成AI加速器，适合电池供电设备。
- **X-CUBE-AI扩展包**：提供模型转换工具和优化库。
#### 2. **开发工具链**
1. **STM32CubeMX**：配置硬件和生成初始化代码。
2. **STM32Cube.AI**：将TensorFlow/PyTorch模型转换为STM32优化代码。
```bash
# 使用x-cube-ai命令行工具转换模型
stm32ai generate -m model.h5 -o stm32ai_output
```
3. **STM32CubeIDE**：集成开发环境，调试和优化AI应用。
#### 3. **性能优化**
- **硬件加速**：利用STM32的DSP、FPU和专用AI加速器（如STM32H7的Chrom-ART加速器）。
- **模型优化**：使用STM32Cube.AI的量化工具将模型压缩至8位或更少。
- **内存管理**：优化模型和中间数据的内存布局，减少RAM占用。
### 🔹 模型量化与部署
#### 1. **量化技术**
- **权重量化**：将浮点权重转换为整数（通常8位或更少）。
- **激活量化**：运行时将输入/输出数据转换为整数。
- **混合精度**：对关键层使用更高精度，平衡准确率和性能。
#### 2. **部署挑战与解决方案**
| **挑战** | **解决方案** |
|------------------------|----------------------------------------------|
| 内存受限 | 使用内存映射技术，模型分段加载 |
| 计算能力有限 | 优化算子实现，利用硬件加速指令 |
| 功耗敏感 | 采用低功耗模式，推理过程中动态调整频率 |
| 模型更新 | 设计OTA机制，支持模型动态更新 |
### 🔹 AI + 外设驱动融合案例
#### 1. **智能传感器处理**
- **场景**：基于加速度计数据的活动识别。
- **实现**：
```c
// 从加速度计读取数据
void read_accelerometer_data(float *data, size_t length) {
// 读取加速度计原始数据
int16_t raw_data[3];
accelerometer_read(raw_data);
// 转换为浮点数并归一化
for (int i = 0; i < 3; i++) {
data[i] = (float)raw_data[i] / 32768.0f;
}
}
// 运行AI模型进行活动识别
activity_t recognize_activity(float *sensor_data) {
// 准备模型输入
TfLiteTensor* input = interpreter->input(0);
memcpy(input->data.f, sensor_data, input->bytes);
// 执行推理
if (interpreter->Invoke() != kTfLiteOk) {
return ACTIVITY_UNKNOWN;
}
// 获取输出结果
TfLiteTensor* output = interpreter->output(0);
int activity_index = argmax(output->data.f, output->dims->data[0]);
return (activity_t)activity_index;
}
```
#### 2. **预测性维护**
- **场景**：基于振动传感器的电机故障预测。
- **实现**：
1. 采集振动数据并进行FFT变换。
2. 使用AI模型分析频谱特征，识别潜在故障。
3. 通过BLE将结果发送至云端。
## ✅ 安全性
### 🔹 安全启动（Secure Boot）
#### 1. **原理与流程**
1. **硬件信任根**：
- 设备内置不可更改的私钥（存储在OTP中）。
- 用于验证第一个加载的软件组件（通常是Bootloader）。
2. **验证流程**：
```
ROM → 验证Bootloader签名 → 验证应用固件签名 → 启动应用
```
#### 2. **STM32实现**
- **选项字节配置**：
```c
// 启用读保护（RDP）
HAL_FLASH_OB_Unlock();
FLASH_OBProgramInitTypeDef obInit;
obInit.OptionType = OPTIONBYTE_RDP;
obInit.RDPLevel = OB_RDP_LEVEL_1; // 禁用调试接口
HAL_FLASHEx_OBProgram(&obInit);
HAL_FLASH_OB_Lock();
```
- **签名验证**：
```c
// 验证固件签名
bool verify_firmware_signature(const uint8_t *firmware, size_t size, const uint8_t *signature) {
// 从OTP读取公钥
const uint8_t *public_key = get_public_key_from_otp();
// 使用ECDSA验证签名
return ecdsa_verify(public_key, firmware, size, signature);
}
```
### 🔹 加密通信（TLS）
#### 1. **TLS握手优化**
- **预共享密钥（PSK）模式**：
减少证书验证开销，适合资源受限设备。
```c
// mbed TLS配置PSK
mbedtls_ssl_config_set_psk(&ssl_conf,
psk, // 预共享密钥
psk_length,
identity, // 身份标识
strlen(identity));
```
#### 2. **证书管理**
- **证书存储**：
根证书存储在安全Flash区域，设备证书动态更新。
- **证书验证**：
```c
// 验证服务器证书链
int verify_cert(void *data, mbedtls_x509_crt *crt, int depth, uint32_t *flags) {
// 检查证书有效期
if (mbedtls_x509_crt_check_validity(crt, time(NULL)) != 0) {
return MBEDTLS_ERR_X509_CERT_VERIFY_FAILED;
}
// 检查证书颁发者
if (!mbedtls_x509_crt_verify(crt, trusted_certs, NULL, NULL, flags, NULL, NULL)) {
return MBEDTLS_ERR_X509_CERT_VERIFY_FAILED;
}
return 0;
}
```
### 🔹 TPM 安全芯片接入
#### 1. **TPM 2.0 概述**
- **功能**：
- 安全存储密钥
- 硬件级加密
- 平台身份验证
- 远程证明
#### 2. **STM32与TPM集成**
- **硬件连接**：
STM32通过I2C/SPI与TPM芯片（如Infineon OPTIGA™ TPM SLB 9670）通信。
- **软件实现**：
```c
// TPM初始化
tpm_error_t tpm_init(void) {
// 初始化I2C接口
i2c_init(TPM_I2C_ADDRESS);
// 发送TPM启动命令
uint8_t startup_cmd[10] = {0x80, 0x01, 0x00, 0x00, 0x00, 0x0c, 0x00, 0x00, 0x01, 0x44};
uint8_t response[20];
if (i2c_write(TPM_I2C_ADDRESS, startup_cmd, 10) != 0) {
return TPM_ERROR_COMMUNICATION;
}
// 读取响应
if (i2c_read(TPM_I2C_ADDRESS, response, 20) != 0) {
return TPM_ERROR_COMMUNICATION;
}
// 验证响应
if (response[6] == 0x00 && response[7] == 0x00) {
return TPM_SUCCESS;
} else {
return TPM_ERROR_INITIALIZATION;
}
}
// 生成密钥
tpm_error_t tpm_generate_key(uint8_t *key_handle, uint8_t *public_key) {
// 发送生成密钥命令
// ...
// 处理响应
// ...
return TPM_SUCCESS;
}
```
#### 3. **应用场景**
- **安全启动增强**：使用TPM验证固件完整性。
- **安全通信**：TPM生成和存储TLS密钥，保护通信数据。
- **设备身份认证**：基于TPM的唯一密钥实现设备身份识别。
## 📁 推荐项目结构
```
embedded-ai-security/
├── ai/ # AI相关代码
│ ├── models/ # 训练好的模型
│ ├── tflite-micro/ # TensorFlow Lite Micro框架
│ └── examples/ # AI应用示例
├── security/ # 安全相关代码
│ ├── secure_boot/ # 安全启动实现
│ ├── tls/ # TLS通信实现
│ └── tpm/ # TPM驱动
├── drivers/ # 外设驱动
│ ├── sensors/ # 传感器驱动
│ ├── communication/ # 通信接口
│ └── ai_hardware/ # AI硬件加速器驱动
├── middleware/ # 中间件
│ ├── os/ # RTOS
│ └── filesystem/ # 文件系统
├── applications/ # 应用层
│ ├── edge_ai_demo/ # 边缘AI演示
│ └── secure_communication/ # 安全通信演示
├── tools/ # 开发工具
│ ├── model_conversion/ # 模型转换脚本
│ └── security_tools/ # 安全工具
└── docs/ # 文档
├── ai_guide.md # AI开发指南
└── security_guide.md # 安全开发指南
```
## 🚀 实战案例
### 1. **工业设备预测性维护**
- **需求**：基于振动传感器数据预测设备故障。
- **实现**：
- 使用STM32H7采集振动数据。
- 部署TinyML模型进行实时分析。
- 通过TLS加密将结果发送至云端。
- 使用TPM确保数据完整性和设备身份安全。
### 2. **智能家居安全监控**
- **需求**：基于摄像头的人体检测与异常行为识别。
- **实现**：
- 使用STM32MP1微处理器运行轻量级CNN模型。
- 仅在检测到异常时唤醒系统并发送警报。
- 通过安全启动确保固件未被篡改。
- 使用TPM存储用户认证密钥。
## 🔗 参考资源
1. **AI on MCU**：
- [TensorFlow Lite Micro](https://www.tensorflow.org/lite/microcontrollers)
- [STM32Cube.AI](https://www.st.com/en/embedded-software/x-cube-ai.html)
- [Edge Impulse](https://www.edgeimpulse.com/)
2. **安全性**：
- [PSA Certified](https://www.psacertified.org/)
- [mbed TLS](https://tls.mbed.org/)
- [TPM 2.0 Specification](https://trustedcomputinggroup.org/resource/tpm-library-specification/)
3. **实战案例**：
- [STMicroelectronics AI Demo](https://www.st.com/en/evaluation-tools/stm32ai-discovery.html)
- [ESP32 TinyML Examples](https://github.com/tensorflow/tflite-micro-arduino-examples)
AI与安全是2025年嵌入式领域的两大核心趋势。通过将AI算法部署到边缘设备，可实现实时智能决策，同时降低网络带宽和云端计算成本。而安全性则是保障设备和数据可信的基础，从安全启动到加密通信，再到TPM硬件级保护，构建多层次安全防护体系。在实际项目中，需根据具体需求选择合适的AI模型和安全方案，平衡性能、功耗和安全性。