應屆畢業(yè)生
大專
最近更新
6048人關注
職位描述
該職位還未進行加V認證，請仔細了解后再進行投遞！
大模型數(shù)據(jù)爬取、清洗工程師
崗位職責:
為人工智能領域研究提供高質(zhì)量數(shù)據(jù)集，包括但不僅限于以下工作內(nèi)容：
1、負責設計、開發(fā)、維護數(shù)據(jù)采集代碼，收集互聯(lián)網(wǎng)公開數(shù)據(jù)
2、負責指定網(wǎng)頁、小程序、APP等內(nèi)容采集以及抽取和去重等工作
3、負責合作數(shù)據(jù)對接、數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫等工作
任職要求：
1、2年及以上工作經(jīng)驗計算機相關專業(yè)，擅長互聯(lián)網(wǎng)數(shù)據(jù)采集、大數(shù)據(jù)處理等一項或多項，富有責任心。
2、熟練掌握Python語言，對數(shù)據(jù)敏感，具有良好的邏輯分析能力；
3、熟悉Linux系統(tǒng)，精通Python編程語言，熟悉爬蟲原理、常見的反爬蟲技術和cookie的登錄原理，掌握requests，selenium，scrapy等模塊的用法，
4、熟悉常見的數(shù)據(jù)庫，如redis、mongodb和mysql等其中一種或幾種，有數(shù)據(jù)清洗分析的工作經(jīng)驗，了解大數(shù)據(jù)平臺的基本原理；
5、熟悉多線程、反爬蟲、驗證碼識并精通網(wǎng)頁抓取原理及技術，熟練使用正則表達式、csspath、xpath等獲取信息；
6、熟悉爬取的各類實現(xiàn)方式和技術細節(jié)，包括不限于：熟悉常見的反爬策略、掌握網(wǎng)絡協(xié)議分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
熱愛技術，喜歡鉆研，注重代碼質(zhì)量，工作認真細致，有良好的協(xié)作意識；
五天八小時工作制，
崗位職責:
為人工智能領域研究提供高質(zhì)量數(shù)據(jù)集，包括但不僅限于以下工作內(nèi)容：
1、負責設計、開發(fā)、維護數(shù)據(jù)采集代碼，收集互聯(lián)網(wǎng)公開數(shù)據(jù)
2、負責指定網(wǎng)頁、小程序、APP等內(nèi)容采集以及抽取和去重等工作
3、負責合作數(shù)據(jù)對接、數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫等工作
任職要求：
1、2年及以上工作經(jīng)驗計算機相關專業(yè)，擅長互聯(lián)網(wǎng)數(shù)據(jù)采集、大數(shù)據(jù)處理等一項或多項，富有責任心。
2、熟練掌握Python語言，對數(shù)據(jù)敏感，具有良好的邏輯分析能力；
3、熟悉Linux系統(tǒng)，精通Python編程語言，熟悉爬蟲原理、常見的反爬蟲技術和cookie的登錄原理，掌握requests，selenium，scrapy等模塊的用法，
4、熟悉常見的數(shù)據(jù)庫，如redis、mongodb和mysql等其中一種或幾種，有數(shù)據(jù)清洗分析的工作經(jīng)驗，了解大數(shù)據(jù)平臺的基本原理；
5、熟悉多線程、反爬蟲、驗證碼識并精通網(wǎng)頁抓取原理及技術，熟練使用正則表達式、csspath、xpath等獲取信息；
6、熟悉爬取的各類實現(xiàn)方式和技術細節(jié)，包括不限于：熟悉常見的反爬策略、掌握網(wǎng)絡協(xié)議分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
熱愛技術，喜歡鉆研，注重代碼質(zhì)量，工作認真細致，有良好的協(xié)作意識；
五天八小時工作制，
注：聯(lián)系我時，請說是在四川人才網(wǎng)上看到的。
工作地點
地址：上海上海人工智能實驗室1
??
點擊查看地圖
詳細位置，可以參考上方地址信息
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財物（如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等），均涉嫌違法，請求職者務必提高警惕。
職位發(fā)布者
HR
蘇州英格瑪服務外包股份有限公司
-
咨詢（財會·法律·人力資源）
-
100-199人
-
私營·民營企業(yè)
-
恒豐路中港匯
