崗位要求: 1、負責設(shè)計爬蟲架構(gòu)以及優(yōu)化爬蟲策略,提升抓取的效率和質(zhì)量。 2、根據(jù)業(yè)務(wù)需求,爬取大型電商類平臺信息并進行提取和分析,為業(yè)務(wù)部門提供數(shù)據(jù)支持。 3、負責現(xiàn)有爬蟲的完善和維護工作,提升爬蟲系統(tǒng)穩(wěn)定性。 4、對爬蟲系統(tǒng)及數(shù)據(jù)進行定期的檢查,處理常見問題,保證爬取工作的高效開展。