CyberScraper-2077+simple-one-api：使用大模型爬虫

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

45. swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
46. 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
47. 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
48. miniconda+xinference的大模型推理部署指南
49. Mem0：大模型最强赋能“有记忆的LLM”
50. 再谈Agent：Dify智能体实现Txet2SQL
51. Moe模式：或将是最好的大模型应用开发路径
52. 一文带你了解大模型RAG
53. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
54. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
55. 大模型Prompt trick：利用大模型同情心提升模型性能
56. 一文带你入门大模型微调
57. 开源大模型LLaMA架构介绍
58. CyberScraper-2077+simple-one-api：使用大模型爬虫

CyberScraper-2077+simple-one-api：使用大模型爬虫

开源项目

CyberScraper-2077：

https://kkgithub.com/itsOwen/CyberScraper-2077

simple-one-api：

https://github.com/fruitbars/simple-one-api

介绍

CyberScraper 2077 不仅仅是另一个网络抓取工具——它是对数据提取未来的一瞥。诞生于赛博朋克世界霓虹灯闪烁的街道，这款 AI 驱动的抓取工具使用 OpenAI 切开网络的防御，以无与伦比的精度和风格提取您需要的数据。

安装CyberScraper 2077 ：

克隆此存储库：

git clone https://kkgithub.com/itsOwen/CyberScraper-2077.git
cd CyberScraper-2077
创建并激活虚拟环境：

virtualenv even
source venv/bin/activate  # Optional
安装所需的软件包：

pip install -r requirements.txt
安装剧作家：

playwright install
在您的环境中设置 OpenAI Key：

Linux/Mac：

export OPENAI_API_KEY='your-api-key-here'
对于 Windows：

set OPENAI_API_KEY=your-api-key-here

可见，需要openai形式的api-key。

由此引入另一个开源项目。

目前市面上免费的使用国产的免费大模型越来越多，one-api对于个人用起来还是有点麻烦，就想要一个不要统计、流量、计费等等的适配程序即可。还有一点是：即使有些厂商说兼容openai的接口，但是实际上还是存在些许差异的！！！

simple-one-api主要是解决以上2点，旨在兼容多种大模型接口，并统一对外提供 OpenAI 接口。通过该项目，用户可以方便地集成和调用多种大模型，简化了不同平台接口差异带来的复杂性。

安装simple-one-api：

源码安装
克隆本仓库：
git clone https://github.com/fruitbars/simple-one-api.git
快速编译使用
首先得确保你已经安装了go，版本需要是1.21以上，具体安装教程参考官网地址：https://go.dev/doc/install 可以通过go version查看go的版本。

linux/macOS

chmod +x quick_build.sh
./quick_build.sh
将会在当前目录生成simple-one-api

Windows 双击quick_build.bat执行

quick_build.bat
将会在当前目录生成simple-one-api.exe

交叉编译不同平台版本

有时需要编译不同平台的版本，比如windows、linux、macOS； 确保安装好go之后，执行build.sh

chmod +x build.sh
./build.sh
会自动编译出对于以上3中平台不同架构的可执行文件，生成在build目录中。

接下来配置你的模型服务和凭证： 在 config.json 文件中添加你的模型服务和凭证信息。

更多使用教程参考开源项目网站。