Skip to content

weidwonder/qianlima_crawler_ai_analysis

Repository files navigation

AI Medical Imaging Tender Analysis System

项目简介

本系统用于自动分析千里马招投标项目信息,识别与AI医疗影像相关的医院或者医疗机构的招投标项目。系统通过智能分析标题和内容,对项目进行分类和评估,自动生成分析报告并通过邮件发送。

功能特性

  • 自动登录千里马平台并维护会话
  • 自动获取订阅项目信息
  • 双层AI分析机制
    • 标题初筛:快速识别潜在相关项目
    • 内容深度分析:对初筛结果进行详细评估
  • 智能分类系统(0-不相关,1-可能相关,2-高度相关)
  • 自动生成Excel格式分析报告
  • 自动邮件推送功能
  • 完整的日志记录和异常处理机制
  • 支持数据缓存和断点续传

系统要求

  • Linux操作系统
  • Python 3.8+
  • Google Chrome浏览器
  • Xvfb(用于无界面服务器环境)
  • Conda环境管理

安装步骤

  1. 安装系统依赖:
# 安装Chrome和Xvfb
sudo apt-get update
sudo apt-get install -y chromium-browser xvfb
  1. 配置Python环境:
# 创建conda环境
conda create -n qianlima python=3.8
conda activate qianlima

# 安装项目依赖
pip install -r requirements.txt
  1. 环境配置: 创建并配置 .env 文件:
# API配置
DASHSCOPE_API_KEY=your_api_key

# 登录信息
LOGIN_USERNAME=your_username
LOGIN_PASSWORD=your_password

# 邮件配置
EMAIL_SMTP_SERVER=smtp.qq.com
EMAIL_SMTP_PORT=465
EMAIL_SENDER=sender@qq.com
EMAIL_PASSWORD=your_email_password
EMAIL_RECIPIENT=recipient@example.com

使用说明

手动运行

# 激活环境
conda activate qianlima

# 运行分析程序
python main.py

通过脚本运行(推荐)

# 添加执行权限
chmod +x run_tender_analysis.sh

# 运行脚本
./run_tender_analysis.sh

设置定时任务

# 编辑crontab
crontab -e

# 添加定时任务(每天早上8点运行)
0 8 * * * /path/to/run_tender_analysis.sh

输出文件

  • 分析报告:output/ai_analysis_results_YYYYMMDD.xlsx
  • 中间数据:output/all_subscriptions-YYYYMMDD-YYYYMMDD.json
  • 运行日志:
    • 应用日志:logs/app.log
    • 错误日志:logs/error.log
    • 定时任务日志:logs/cron_run.log

项目结构

ai_tender_analysis/
├── config/                 # 配置文件
├── core/                   # 核心功能模块
│   ├── auth/              # 认证相关
│   ├── browser/           # 浏览器控制
│   └── models/            # 数据模型
├── services/              # 业务服务
│   ├── ai/               # AI分析服务
│   ├── data/             # 数据处理
│   └── subscription/     # 订阅管理
├── utils/                # 工具函数
├── logs/                 # 日志文件
├── output/              # 输出文件
├── main.py              # 主程序
├── run_tender_analysis.sh # 运行脚本
└── requirements.txt     # 依赖清单

维护说明

  • 代码规范:遵循 PEP 8
  • 异常处理:所有关键操作都有异常处理和日志记录
  • 类型提示:使用 type hints 进行类型注解
  • 文档规范:关键函数和类都有详细的文档字符串

维护者

维护人: weidwonder

About

千里马招投标自动筛选分析系统

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published