实习

浙江华昱欣科技有限公司实习

2026-08-15 #实习

工位

接到郑哥发来的offer后,我立马就赶来了杭州,当天4月23日上午10准时报道,在跟研怡姐姐一起签署了实习协议,了解了公司的保密制度和物件使用管理规定后,王哥(也就是我的面试官,同时兼任公司的带教导师)前来接待,然后带我参观了物品算法部门,认识了部门和组内(我们组叫 Mars) 的各位前辈,大家都很热情。上午安排完工位后,就跟组内同时吃饭去了,这次是王哥买的单 emi=oji,下午因为刚入职,相关权限还未开通(后面一直持续了两天:大华的权限、华昱欣的权限等等),暂未安排我具体工作,但了解到每周的日常事务以及活动情况:

  • 周四:组内会议(13:45)、部门会议(16:30)、羽毛球赛(19:00)
  • 周六/日:团建 / 公费旅游
  • 先进研究院活动、公司社团活动

总体来看公司在员工的生活和社交方面是比较重视的。后面两天公司给我开通了:所在小组的gitlab权限、git操作权限、外网权限(公司电脑是连接内网进行工作的)、巨灵训练平台 JINN、A40 GPU,就开始正式工作了。

在这一个多月的实习里,我在公司主要做了如下几件事情:

1、熟悉公司25年研发的Agent智能助手V1.1项目

通过王哥发来的算法说明文档,了解到智能助手的各类核心模块,包括意图识别、知识库查询、数据库查询、任务拆解、图表生成、问题回复、文档索引及界面索引等,并跑通了demo,并重点梳理了项目中服务端进程Server_daemon.py与测试文件test_request.py之间的交互逻辑及数据流转机制。这种模块化分解设计,不仅能丰富用户使用体验,还便于后续对智能助手功能进行拓展升级及模块迭代更新。其各模块具体如下:

  • 语音识别:目前暂未实现相关功能。

  • 意图理解/任务拆解:可基于用户提出的问题,精准拆解核心需求并给出对应回复,为后续ReAct架构的搭建奠定基础。

  • 数据库查询:主要用于查询公司内部发用电数据、设备信息等相关数据。

  • 图表生成:能够根据用户具体请求,自主选择合适的图表类型,并向平台发起调用请求,完成图表生成。

  • 界面索引:可根据用户需求,自主对相关界面进行索引匹配,提升使用便捷性。

  • 文档索引:输出相关参考资料,方便用户自行查询对应文档,获取更详细信息。

目前我的核心工作聚焦于智能助手相关的日志解析及文档VLM识别相关任务,当时能够基于公司给出的后台日志内容,完成任务分类工作,具体包括:操作指引、产品咨询、功能解答、行业知识、客诉宣泄、闲聊无效等类别。

2、Agent 智能助手后台日志解析系统

这个日志解析系统刚开始并不是一个有完整需求的事情,因为当时王哥只是要求我基于logs、logs_details目录下的日志内容进行聚合分析,然后对用户的输入进行实现任务分类、对智能助手回复的内容结合用户输入来进行逻辑性分析。当时只是讲这个需求写成了一款日志分析工具,能够在公司特定日志目录下,用fastapi暴露借口给其他设备进行日志的提取与解析(可能是我当时理解错王哥的意思了),后来重新改了一版确定了具体的需求:做一款基于公司Agent助手的后台日志内容,来对用户的使用情况进行分析,统计各个时间段的使用量以及用户使用公司产品遇到的售后问题 / 用户客诉等等,以便即使与客户进行沟通、反馈。

项目介绍: Vue3 前端 + Python 后端 的前后端分离结构,给日志分析做了可视化界面,支持:

  • 支持按时间、任务类型、用户 ID 等条件筛选日志
  • 后台定时分析日志,进行任务分类等
  • 自动生成统计报表,包含柱状图、饼图、TOP20 高频问题 (faq) 等展示(其中 TOP20 功能用到千问 qwen-embedding-0.6b 词嵌入模型做日志语义聚类)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
log/
├── agent # 智能助手项目
├── frontend/ # Vue3 前端
├── backend/ # Python 后端
└── README.md # 项目说明

----------- agent项目查看 gitlab ------------

https://yfgitlab.dahuatech.com/ocr_project/mars/flash/-/tree/main/Agent/Assistant?ref_type=heads

----------- 前端项目结构 ------------
frontend/
├── node_modules/
├── public/ # 静态资源
| └── vite.svg # 图标
├── src/
│ ├── api/ # 所有后端接口请求
| │ ├── axios.js # Axios 拦截器与请求封装
| │ └── chartApi.js # 所有接口请求
│ ├── components/ # 公共组件
| │ ├── Chart/ # 图表组件
| | │ ├── BarChart.vue # 柱状图
| | │ └── PieChart.vue # 饼状图
│ ├── router/ # 路由管理
| │ └── index.js # 路由配置
│ ├── utils/ # 工具函数
| │ └── logRender.js # 日志md渲染
│ ├── views/ # 所有页面
| │ ├── Dashboard.vue # 大盘页面
| │ ├── LogDetails.vue # 日志明细页面
| │ └── Login.vue # 登录页面
│ ├── App.vue
│ ├── main.js
| └── style.css
|
├── .gitignore
├── index.html
├── package-lock.json
├── package.json
└── vite.config.js # 构建工具

----------- 后端项目结构 ------------

backend/
├── pycache/ # Python 缓存目录
├── app/ # 主应用包
│ ├── api/ # 接口路由层
│ │ ├── pycache/
│ │ ├── auth_routes.py # 登录、认证相关接口
│ │ └── stats_routes.py # 统计相关接口
│ ├── core/ # 核心引擎模块
│ │ ├── pycache/
│ │ └── incremental.py # 增量日志解析核心
│ ├── service/ # 业务逻辑层
│ │ ├── pycache/
│ │ ├── ai_service.py # AI 智能分析服务
│ │ └── chart_service.py # 图表统计服务
│ └── utils/ # 工具与配置
│ ├── pycache/
│ ├── config_loader.py # 配置加载工具
│ └── user_info.json # 用户信息存储
├── cache/ # 运行时缓存目录
│ ├── temp/ # 临时数据缓存
│ ├── history_data.json # 历史分析数据缓存
│ ├── faq.csv # faq 常见问题
│ ├── history_data_old.json # agent老版本的所有日志信息
│ └── sync_cursor.json # 增量同步游标
├── config/ # 配置文件目录
│ ├── node-v16.20.2-linux-x64 # node 配置文件
│ ├── qwen_embedding_0.6b # qwen-embedding 模型配置文件
│ ├── qwen_reranker_0.6b # qwen-reranker 模型配置文件
│ └── settings.yaml # 项目主配置文件
└── main.py # 项目启动入口


hyx3

hyx4

hyx5

以下是当时写的周报内容:

【AI助手运维后台开发】
需求背景:
1、响应agent助手后台运维人员对用户交互记录的需求,无系统交互记录的可视化效果,难以快速追溯用户具体问答内容,不能及时的对用户反馈异常、客诉等问题等进行排查,由此针对性的进行了AI助手运维后台的开发,支撑运维人员常态化查看用户的全量交互记录

当前进度:
1、针对助手实时产生的用户交互日志,搭建定时自动化分析任务,配置固定时间周期轮询扫描新增日志数据,在减低系统算力消耗的同时提升数据处理效率
2、基于用户交互的内容,完成日志任务的分类建设,将交互日志精准的划分为8个类别(操作指引、产品咨询、故障排查、功能解答等),解决原有日志信息无分类、数据杂乱的问题
3、利用qwen-embedding-0.6b 词嵌入模型对用户输入信息进行语义提取、进行相似度计算,实现高频数据榜单的可视化展示,提升问题分析的工作效率

后续计划:
1、引入向量数据库对日志的语义聚合的功能进行优化
2、加上页面缓存,优化后台访问性能

3、AI 调度数据采集一键运行脚本

这份工作主要是根据先进研究院数据部同时传来的视频,通过对视频使用VLM进行识别和读取,来提取友商电站(如:van Velzen)的历史真实数据以及预测数据,包括发电功率、用电功率、电池充放功率、电网购售功率、买电价格、卖电价格、电池SOC等等

hyx1

hyx2

基本逻辑

先对录制的视频进行抽帧去重,然后使用视觉模型对每一有效帧图片进行分析并提取有效信息,最后写入excel文件,获取各电站的数据。

  • 录制对应电站历史数据视频,并将视频分别放入对应电站的 run_history/inputs/power/、run_history/inputs/soc/ 文件夹下面(注意:power / soc 文件夹下分别只能放置一个对应的视频mp4文件)
  • 录制对应电站预测数据视频,并将视频分别放入对应电站的 run_forecast/inputs/prod 、 run_forecast/inputs/soc 文件夹下面(注意:prod / soc 文件夹下分别放置前一天下班和当天上班时录制的视频mp4文件)
  • 1、分开处理历史和预测视频:
    • 执行 van_velzen/run_history/all_run_history.py:先清空run_history/temp_excel/ 下的文件,对power和soc的录制视频并行执行抽帧去重过程并写入各自的文件夹里面van_velzen/run_history/frames_his_power,van_velzen/run_history/frames_his_soc,然后对frames_his_power的帧图片进行处理生成并写入excel,后再对frames_his_soc的帧图片进行处理,最后把数据追加到对应excel文件中,最终输出到run_history/output_excel/ 下的 2026-xx-xx.xlsx 中
    • 执行 van_velzen/run_forecast/all_run_forecast.py:先清空run_forecast/temp_excel/ 下的文件,对prod和soc的录制视频并行执行抽帧去重过程并写入各自的文件夹里面van_velzen/run_forecast/frames_his_power,van_velzen/run_forecast/frames_his_soc,然后对frames_fore_power的帧图片进行处理生成并写入excel,后再对frames_fore_soc的帧图片进行处理,最后把数据追加到对应excel文件中,最终输出到run_forecast/output_excel/ 下的 2026-xx-xx.xlsx 中
  • 2、一个脚本跑完所有:执行 van_velzen/all.run.py,并行处理all_run_history.py 和 all_run_forecast.py, 最终输出的目录为各自run_history/output_excel/ ,run_forecast/output_excel/ 目录下
  • 3、增量更新:如果发现处理完后的 excel 文件里存在数据缺失/错误的情况,找到 excel 文件中缺失的内容,在sigen网站上截取对应图片或者在录制的视频里面手动暂停来进行截取,将增量图片放入对应的 run_forecast/incre_image 或者 run_history/incre_image 目录下
    • 进入对应的目录,run_forecast/ 或者 run_history/ ,执行增量脚本
    • 历史增量: python incremental.py --excel output_excel/2026-xx-xx.xlsx 需要指定具体excel文件
    • 预测增量: python incremental.py

最后再查看 output_excel/ 下的 excel 文件

待做清单(Todo)

  • 脚本目前支持图片中对应英文字段内容的提取,暂不支持中文字段

    • 可以修改对应提示词以进行适配,把第一段提示词改为下面的第二段,如下(这里以预测fore数据脚本 prod_fore.py为例):
1
2
3
4
5
6
7
8
EXTRACT_PROMPT = 
""" json结构化提取图中一下字段:输出提取结果,不要有其他任何内容,且冗余内容不提取,没有显示明确数据的也不提取 - time内容提取:月份+时间,例如:05-17 08:40,必须同时包含月份和时间,且一定是要关注图片中图里的 ! 注意!!! - 我需要的是:Forecast Load Consumed、Forecast Solar Produced、Forecast Charge Battery from Grid、Forecast Sell Battery to Grid, - 我不需要的是:Load Consumed、Charge Battery from Grid、Solar Produced、Sell Battery to Grid - 我需要提取信息的字段标签前面都是虚线,标签前面是点的不用理会 !!! - 图片的图表面板中要是没有比较明显的有效信息及数值,则默认不处理 !!! - 没有对应内容则不提取,图片中没有出现Forecast开头的字段也不提取(不提取而不是为null/None) """

--------------- 适配中文字段的提取 ------------------

EXTRACT_PROMPT =
""" json结构化提取图中一下字段:输出提取结果,不要有其他任何内容,且冗余内容不提取,没有显示明确数据的也不提取 注意!!! - time内容提取:月份+时间,例如:05-17 08:40,必须同时包含月份和时间 - 我需要的标签是:预测负载用电、预测太阳能发电、买电网电给电池预测、卖电池给电网预测 (每个里面都明确包含了预测两个字) - 我不需要的是:负载用电、太阳能发电、买电网电给电池、卖电池给电网(没有包含预测这两个字) - 图中对应我需要提取信息的字段的标签前面都是虚线,标签前面是点的不用理会 !!! - 一般无论是不是包含“预测”的有效字段,只要图中上部因鼠标移动而出现字段,就会有对应的time,但是我只需要出现有效字段的时候才进行处理) - 图中面板没有明显的对应预测字段不提取 (不提取而不是为null/None) - 它们对应的对应英文键名如下: - 预测负载用电 → Forecast Load Consumed - 预测太阳能发电 → Forecast Solar Produced - 买电网电给电池预测 → Forecast Charge Battery from WGrid - 卖电池给电网预测 → Forecast Sell Battery to Grid 在提取到有效字段的前提下,输出json格式: - 示例:{"time": "05-25 23:45", "Forecast Load Consumed": "0.162 kW", "Forecast Solar Produced": "0 kW", "Forecast Charge Battery from Grid": "0 kW", "Forecast Sell Battery to Grid": "0 kW"}
"""
  • 也可以修改原提示词识别中文字段,再做一个map映射
Comments
赞赏
Share
← 返回