import requests from bs4 import BeautifulSoup #import cloudscraper #import json import colorama from colorama import Fore from colorama import Style nome=[] desc=[] npezzi=[] prezzo=[] scripto=[] #prende l url della pagina justeat del ristorante in input #url = "https://www.justeat.it/restaurants-pizzeria-girasole-bologna/menu" #url = input('link della pagina justeat del ristorante: ') #input ('inserisci il link della pagina justeat del ristorante: ') print("\n") url = print(Fore.WHITE + Style.DIM + "es https://www.justeat.it/NOME_RISTORANTE/menu" + Style.RESET_ALL) url = input(Fore.RED + Style.BRIGHT + "inserisci il link della pagina justeat del ristorante: " + Style.RESET_ALL) #scrape html scavalcando cloudflare # scraper = cloudscraper.create_scraper(browser={'browser': 'firefox','platform': 'windows','mobile': False}) # page = scraper.get(url).content #usa input manuale # page = scraper.get("https://www.justeat.it/restaurants-saporedialeppo/menu").content #usa input automatico #crea il file html headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'} page = requests.get(url, headers=headers).content with open('JEmenu.html', 'wb') as f: f.write(page) #apre e legge il file with open('JEmenu.html', 'rb') as f: page = f.read() #parser soup = BeautifulSoup(page, "html.parser") #Stora nome ristorante nrist = soup.title.text[8:-32] #Stora telefono del ristorante for i in soup.findAll('script'): scripto.append(i) scriptok = scripto[7] scriptok = scriptok.string say = 'allergenPhoneNumber":"' after = scriptok[scriptok.index(say) + len(say):] after = after[0:13] after = ''.join((x for x in after if x.isdigit())) tel = after[0:13] #cicla le schede prodotto menu = soup.find(attrs={"data-test-id": "menu-item"}) for menu in soup.find_all(attrs={"data-test-id": "menu-item"}): att=menu #riempie la lista "nome" for att in menu.find(attrs={"data-test-id": "menu-item-name"}): if att != type(None): if att != " ": nome.append(att.lstrip().splitlines()[0]) break else: continue #riempie la lista "desc" att=menu.find("p", class_="c-menuItems-description") if att != None: for att in menu.find("p", class_="c-menuItems-description"): desc.append(att.lstrip().splitlines()[0]) else: desc.append(None) #riempie la lista "prezzo" for att in menu.find("p", class_="c-menuItems-price notranslate"): prezzo.append(att.lstrip().splitlines()[0]) #riempie la lista "npezzi" att=menu.find_all(attrs={"data-test-id": "menu-item-description"}) if att != None: if menu.text.find("pezzo") > 0 or menu.text.find("pezzi") > 0: npezzi.append(menu.text.splitlines()[7].lstrip()) else: npezzi.append(None) continue #stampa liste for x in range(len(nome)): print("\n") print(nome[x]) print(desc[x]) print(npezzi[x]) print(prezzo[x]) #stampa lunghezza liste print("\n") print("ristorante:",nrist) print("telefono:",tel) print("lista nome:",len(nome)) print("lista desc:",len(desc)) print("lista npezzi:",len(npezzi)) print("lista prezzi:",len(prezzo)) #sono stringhe ovvero ci sono anche prezzi come "da 1,00 €" (servirà formattarla in double per poter fare i conti) # Crea file json formattato per jawanndenn con la lista dei nomi dei prodotti # scrive le prime righe del json (uguali ogni volta) # with open('jwndn.json', 'w') as jw: # jw.write("{\n") # jw.write(' "lifetime": "month",\n') # jw.write(' "equal_width": true,\n') # jw.write(' "title":') # jw.write('"') # jw.write(nrist) # jw.write('",') # jw.write("\n") # jw.write(' "options": \n') # inserisce i nomi dei prodotti dalla lista # def writeListJSONFile(filepathname, lista): # with open('./jwndn.json', 'a+') as f: # json.dump(nome, f) # writeListJSONFile('./jwndn.json', nome) # conclude il json con l ultima parentesi graffa # with open('jwndn.json', 'a+') as jw: # jw.write("\n}\n")