Search found 5 matches

by hlypeter
Fri Aug 04, 2023 8:51 am
Forum: ESP-WHO 中文讨论版
Topic: esp-dl int8量化模型数据集评估精度下降问题
Replies: 4
Views: 29907

Re: esp-dl int8量化模型数据集评估精度下降问题

嗯 感谢回复; 1.1 字典中的键值可以参考onnx模型转换时的打印 1.2 设备端是一层层推理,可以打印出来,pc端的仿真以及onnx的模型每层输出打印还不太清楚怎么弄,有简单的方法麻烦告知下 2.2 int8的per-channel和per-tensor,理论上来讲per-channel的精度会高,但是实际上设备端和pc端的仿真整个模型运行下来都是per-tensor要高,其中第一层使用per-channel对精度影响很大;pc上per-channel的仿真把相应的键值input.4/QACC_shift1:0加进去可以运行,结果也是per-tensor要高,这个麻烦确认下,是我的模型问题...
by hlypeter
Tue Jul 18, 2023 8:55 am
Forum: ESP-WHO 中文讨论版
Topic: esp-dl int8量化模型数据集评估精度下降问题
Replies: 4
Views: 29907

esp-dl int8量化模型数据集评估精度下降问题

您好, 一 试着将模型进行了esp-dl上int16和int8的量化,并在测试数据集上进行精度评估,其中int16的模型精度基本没有下降,但是int8的模型评估精度下降了很多,目前正在尝试修改Calibrator.set_method中的参数,与此同时有几个问题: 1.1 calibrator生成的model_calib.pickle文件,通过打印看到它是一个字典,关于其中的键值有没有相关的文档 1.2 eval.evalute_quantized_model 能否输出每一层的量化输出,而不只是最后一层,否则只能通过一次次的删除onnx模型后面的部分达到目的,太过麻烦 1.3 是否有pc端的e...
by hlypeter
Thu Jul 13, 2023 12:39 pm
Forum: ESP-WHO 中文讨论版
Topic: 【已解决】esp-dl自定义层的量化问题
Replies: 4
Views: 29315

Re: esp-dl自定义层的量化问题

您好,看了关于手势识别的例子,其实现了自动编写部署所需要的name_model.hpp和app_main.cpp,以及其他相关文件。
关于量化的部分,里面还是调用了esp-dl中提供的calibrator.pyd进行的量化,模型文件所对应的cpp和hpp并没有修改,也有可能是我没有看仔细。目前还没有进行到需要自定义层的量化,后续有需要我再在论坛提问。
感谢快速的回复!
by hlypeter
Wed Jul 12, 2023 6:17 am
Forum: ESP-WHO 中文讨论版
Topic: 【已解决】esp-dl自定义层的量化问题
Replies: 4
Views: 29315

Re: esp-dl自定义层的量化问题

感谢这么快的回复!
自定义层支持量化,这部分的说明和示例在哪里?在esp-dl中没有找到,感谢! :)
by hlypeter
Tue Jul 11, 2023 11:30 am
Forum: ESP-WHO 中文讨论版
Topic: 【已解决】esp-dl自定义层的量化问题
Replies: 4
Views: 29315

【已解决】esp-dl自定义层的量化问题

量化工具包中的校准器是以库的形式提供的,其中如果自定义层不支持,可以怎么操作?如果不能量化,给出的自定义层的实现:implement_custom_layer,具体用途是什么?期待回复!