Saya cuba merangkak tajuk semua jadual dari URL ini: https://www.nature.com/articles/s41586-023-06192-4

Saya boleh mencari elemen HTML ini di tapak web:

Table 1 Calculated Ct–M–Ct angles

Saya tidak dapat merangkak tajuk ini kerana ia tidak dapat ditemui. Walaupun saya mencetak skrip HTML ke konsol, elemen ini tidak dapat ditemui.

Saya menggunakan kod berikut untuk mencetak skrip HTML:

from requests_html import HTMLSession from bs4 import BeautifulSoup url = 'https://www.nature.com/articles/s41586-023-06192-4' session = HTMLSession() response = session.get(url) response.html.render() soup = BeautifulSoup(response.html.raw_html.decode('utf-8'), 'html.parser') print(soup.prettify())

Gunakan fungsi merangkak BeautifulSoup:

def get_tables(driver): tables = [] html = driver.page_source soup = BeautifulSoup(html, 'html.parser') for i in range(1, 11): try: table_caption = soup.find('b', {'id': f'Tab{i}', 'data-test': 'table-caption'}) table_text = table_caption.text if table_caption else "Not Available" if table_text != "Not Available": print(f"找到表格{i}：{table_text}") else: print(f"未找到表格{i}。") tables.append(table_text) except Exception as e: print(f"处理表格{i}时出错：{str(e)}") tables.append("Not Available") return tables

Gunakan fungsi merangkak Selenium:

def get_tables(driver): tables = [] for i in range(1, 11): try: table_caption = driver.find_element_by_css_selector(f'b#Tab{i}[data-test="table-caption"]') table_text = table_caption.text if table_caption else "Not Available" if table_text != "Not Available": print(f"找到表格{i}：{table_text}") else: print(f"未找到表格{i}。") tables.append(table_text) except Exception as e: print(f"处理表格{i}时出错：{str(e)}") tables.append("Not Available") return tables

Saya cuba menggunakan Selenium dan BeautifulSoup untuk merangkak tapak web. Saya telah menyemak iframe. Saya menangguhkan operasi pengambilan selama 40 saat untuk memastikan halaman dimuatkan sepenuhnya. Malah GPT4 tidak dapat menyelesaikan masalah ini.