124 lines
3.6 KiB
Python
124 lines
3.6 KiB
Python
import requests
|
|
from bs4 import BeautifulSoup
|
|
#import cloudscraper
|
|
import json
|
|
|
|
nome=[]
|
|
desc=[]
|
|
npezzi=[]
|
|
prezzo=[]
|
|
scripto=[]
|
|
|
|
|
|
#prende l url della pagina justeat del ristorante in input
|
|
url = "https://www.justeat.it/restaurants-pizzeria-la-garganica-bologna/menu"
|
|
#url = input('link della pagina justeat del ristorante: ')
|
|
|
|
#scrape html scavalcando cloudflare
|
|
# scraper = cloudscraper.create_scraper(browser={'browser': 'firefox','platform': 'windows','mobile': False})
|
|
# page = scraper.get(url).content #usa input manuale
|
|
# page = scraper.get("https://www.justeat.it/restaurants-saporedialeppo/menu").content #usa input automatico
|
|
|
|
#crea il file html
|
|
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
|
|
page = requests.get(url, headers=headers).content
|
|
|
|
with open('JEmenu.html', 'wb') as f:
|
|
f.write(page)
|
|
|
|
#apre e legge il file
|
|
with open('JEmenu.html', 'rb') as f:
|
|
page = f.read()
|
|
|
|
#parser
|
|
soup = BeautifulSoup(page, "html.parser")
|
|
|
|
#Stora nome ristorante
|
|
nrist = soup.title.text[8:-32]
|
|
|
|
#Stora telefono del ristorante
|
|
for i in soup.findAll('script'):
|
|
scripto.append(i)
|
|
|
|
scriptok = scripto[7]
|
|
scriptok = scriptok.string
|
|
|
|
say = 'allergenPhoneNumber":"'
|
|
|
|
after = scriptok[scriptok.index(say) + len(say):]
|
|
after = after[0:13]
|
|
after = ''.join((x for x in after if x.isdigit()))
|
|
tel = after[0:13]
|
|
|
|
#cicla le schede prodotto
|
|
menu = soup.find(attrs={"data-test-id": "menu-item"})
|
|
for menu in soup.find_all(attrs={"data-test-id": "menu-item"}):
|
|
att=menu
|
|
#riempie la lista "nome"
|
|
for att in menu.find(attrs={"data-test-id": "menu-item-name"}):
|
|
if att != " ":
|
|
nome.append(att.lstrip().splitlines()[0])
|
|
|
|
#riempie la lista "desc"
|
|
att=menu.find("p", class_="c-menuItems-description")
|
|
if att != None:
|
|
for att in menu.find("p", class_="c-menuItems-description"):
|
|
desc.append(att.lstrip().splitlines()[0])
|
|
else:
|
|
desc.append(None)
|
|
|
|
#riempie la lista "prezzo"
|
|
for att in menu.find("p", class_="c-menuItems-price notranslate"):
|
|
prezzo.append(att.lstrip().splitlines()[0])
|
|
|
|
#riempie la lista "npezzi"
|
|
att=menu.find_all(attrs={"data-test-id": "menu-item-description"})
|
|
if att != None:
|
|
if menu.text.find("pezzo") > 0 or menu.text.find("pezzi") > 0:
|
|
npezzi.append(menu.text.splitlines()[7].lstrip())
|
|
else:
|
|
npezzi.append(None)
|
|
continue
|
|
|
|
#stampa liste
|
|
for x in range(len(nome)):
|
|
print("\n")
|
|
print(nome[x])
|
|
print(desc[x])
|
|
print(npezzi[x])
|
|
print(prezzo[x])
|
|
|
|
#stampa lunghezza liste
|
|
print("\n")
|
|
print(nrist)
|
|
print(tel)
|
|
print("lista nome",len(nome))
|
|
print("lista desc:",len(desc))
|
|
print("lista npezzi:",len(npezzi))
|
|
print("lista prezzi:",len(prezzo)) #sono stringhe ovvero ci sono anche prezzi come "da 1,00 €" (servirà formattarla in double per poter fare i conti)
|
|
|
|
|
|
# Crea file json formattato per jawanndenn con la lista dei nomi dei prodotti
|
|
# scrive le prime righe del json (uguali ogni volta)
|
|
# with open('jwndn.json', 'w') as jw:
|
|
# jw.write("{\n")
|
|
# jw.write(' "lifetime": "month",\n')
|
|
# jw.write(' "equal_width": true,\n')
|
|
# jw.write(' "title":')
|
|
# jw.write('"')
|
|
# jw.write(nrist)
|
|
# jw.write('",')
|
|
# jw.write("\n")
|
|
# jw.write(' "options": \n')
|
|
|
|
# inserisce i nomi dei prodotti dalla lista
|
|
# def writeListJSONFile(filepathname, lista):
|
|
# with open('./jwndn.json', 'a+') as f:
|
|
# json.dump(nome, f)
|
|
|
|
# writeListJSONFile('./jwndn.json', nome)
|
|
|
|
# conclude il json con l ultima parentesi graffa
|
|
# with open('jwndn.json', 'a+') as jw:
|
|
# jw.write("\n}\n")
|