Merhaba, ben docker-compose ile selenium-hub ve firefox servislerini ayağa kaldırdım. Gerekli url adresini kullanarak crawl işlemi gerçekleştirdim. Fakat dikkatimi çeken ve merak ettiğim bir şey ile karşılaştım. localhost:4444 host ve port bilgisini kullanarak girdiğim selenium grid’de max-concurrency 1 olarak görünüyor. Bunu nasıl arttırabilirim ya da arttırabilir miyim?
Aşağıda kullanmış crawler için kullanmış olduğum kü.ük bir örnek kod parçası ve docker-compose.yaml dosyamın içeriğini bulabilirsiniz.
docker-compose.yaml:
version: “3”
services:
firefox:
image: selenium/node-firefox:4.0.0-rc-2-prerelease-20210916
shm_size: 2gb
depends_on:
- selenium-hub
environment:
- SE_EVENT_BUS_HOST=selenium-hub
- SE_EVENT_BUS_PUBLISH_PORT=4442
- SE_EVENT_BUS_SUBSCRIBE_PORT=4443
- NODE_MAX_SESSION=2
- NODE_MAX_INSTANCES=2
ports:
- “6902:5900”
selenium-hub:
image: selenium/hub:4.0.0-rc-2-prerelease-20210916
ports:
- “4442:4442”
- “4443:4443”
- “4444:4444”
Python Crawler Example:
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from bs4 import BeautifulSoup
capabilities = DesiredCapabilities.FIREFOX.copy()
driver = webdriver.Remote(desired_capabilities=capabilities, command_executor=“http://localhost:4444/wd/hub”)
driver.get(“IMDb Top 250 - IMDb”)
element = driver.find_element_by_class_name(“lister-list”)
html = element.get_attribute(‘innerHTML’)
soup = BeautifulSoup(html, “lxml”)
for i in soup.find_all(“tr”):
print(i.find(“td”, attrs = {“class”:“titleColumn”}).a.text)
Şimdiden cevaplarının için teşekkür ederim.