Использование веб-скрапинга и ИИ-суммирования в бизнесе с Firecrawl и Google Gemini

Введение

Быстрый рост контента в интернете создает проблемы с эффективным извлечением и обобщением актуальной информации. Мы покажем, как использовать Firecrawl для веб-скрейпинга и обрабатывать извлеченные данные с помощью AI-моделей, таких как Google Gemini. Интеграция этих инструментов в Google Colab позволяет создать оптимизированный рабочий процесс, который автоматизирует исследование, извлечение инсайтов из статей и создание приложений на базе ИИ.

Шаги для реализации

Шаг 1: Установка необходимых библиотек

Установите библиотеки google-generativeai и firecrawl-py, которые необходимы для работы с API и веб-скрейпинга.

!pip install google-generativeai firecrawl-py

Шаг 2: Настройка API-ключа Firecrawl

Безопасно введите ваш API-ключ Firecrawl в Google Colab для аутентификации.

import os

from getpass import getpass

os.environ["FIRECRAWL_API_KEY"] = getpass("Введите ваш API-ключ Firecrawl: ")

Шаг 3: Инициализация Firecrawl и скрейпинг контента

Создайте экземпляр FirecrawlApp и извлеките данные с указанной веб-страницы.

from firecrawl import FirecrawlApp

firecrawl_app = FirecrawlApp(api_key=os.environ["FIRECRAWL_API_KEY"])

target_url = "https://en.wikipedia.org/wiki/Python_(programming_language)"

result = firecrawl_app.scrape_url(target_url)

page_content = result.get("markdown", "")

Шаг 4: Настройка API Google Gemini

Введите ваш API-ключ Google Gemini для настройки клиента API для генерации текста и обобщения.

import google.generativeai as genai

GEMINI_API_KEY = getpass("Введите ваш API-ключ Google Gemini: ")

genai.configure(api_key=GEMINI_API_KEY)

Шаг 5: Список доступных моделей

Проверьте доступные модели с вашим API-ключом.

for model in genai.list_models():

print(model.name)

Шаг 6: Генерация обобщения

Используйте выбранную модель для генерации обобщения извлеченного контента.

model = genai.GenerativeModel("gemini-1.5-pro")

response = model.generate_content(f"Обобщите это:nn{page_content[:4000]}")

Заключение

Интеграция Firecrawl и Google Gemini создает автоматизированный процесс для извлечения веб-контента и генерации обобщений. Это решение подходит для автоматизации исследований, извлечения инсайтов и агрегации контента.