大數(shù)據(jù)時代,用數(shù)據(jù)做出理性分析顯然更為有力。做數(shù)據(jù)分析前,能夠找到合適的數(shù)據(jù)源是一件非常重要的事,獲取數(shù)據(jù)的方式有很多種,不必局限。本文中給大家推薦一些能夠用得上的數(shù)據(jù)獲取方式~
一 公開數(shù)據(jù)集
1 常用數(shù)據(jù)公開網(wǎng)站
UCI :經(jīng)典的機器學(xué)習(xí)、數(shù)據(jù)挖掘數(shù)據(jù)集,包含分類、聚類、回歸等問題下的多個數(shù)據(jù)集。很經(jīng)典也比較古老,但依然活躍在科研學(xué)者的視線中。
國家數(shù)據(jù) :數(shù)據(jù)來源中華人民共和國國家統(tǒng)計局,包含了我國經(jīng)濟民生等多個方面的數(shù)據(jù),并且在月度、季度、年度都有覆蓋,全面又權(quán)威。
CEIC :最完整的一套超過128個國家的經(jīng)濟數(shù)據(jù),能夠精確查找GDP、CPI、進口、出口、外資直接投資、零售、銷售以及國際利率等深度數(shù)據(jù)。其中的“中國經(jīng)濟數(shù)據(jù)庫”收編了300,000多條時間序列數(shù)據(jù),數(shù)據(jù)內(nèi)容涵蓋宏觀經(jīng)濟數(shù)據(jù)、行業(yè)經(jīng)濟數(shù)據(jù)和地區(qū)經(jīng)濟數(shù)據(jù)。
萬得 :簡要介紹:被譽為中國的Bloomberg,在金融業(yè)有著全面的數(shù)據(jù)覆蓋,金融數(shù)據(jù)的類目更新非???,據(jù)說很受國內(nèi)的商業(yè)分析者和投資人的青睞。
搜數(shù)網(wǎng) :已加載到搜數(shù)網(wǎng)站的統(tǒng)計資料達到7874本,涵蓋1,761,009張統(tǒng)計表格和364,580,479個統(tǒng)計數(shù)據(jù),匯集了中國資訊行自92年以來收集的所有統(tǒng)計和調(diào)查數(shù)據(jù),并提供多樣化的搜索功能。
中國統(tǒng)計信息網(wǎng) : 國家統(tǒng)計局的官方網(wǎng)站,匯集了海量的全國各級政府各年度的國民經(jīng)濟和社會發(fā)展統(tǒng)計信息,建立了以統(tǒng)計公報為主,統(tǒng)計年鑒、階段發(fā)展數(shù)據(jù)、統(tǒng)計分析、經(jīng)濟新聞、主要統(tǒng)計指標排行等。
亞馬遜 :來自亞馬遜的跨科學(xué)云數(shù)據(jù)平臺,包含化學(xué)、生物、經(jīng)濟等多個領(lǐng)域的數(shù)據(jù)集。
figshare :研究成果共享平臺,在這里可以找到來自世界的大牛們的研究成果分享,獲取其中的研究數(shù)據(jù)。
github :一個非常全面的數(shù)據(jù)獲取渠道,包含各個細分領(lǐng)域的數(shù)據(jù)庫資源,自然科學(xué)和社會科學(xué)的覆蓋都很全面,適合做研究和數(shù)據(jù)分析的人員。
2 政府開放數(shù)據(jù)
北京市政務(wù)數(shù)據(jù)資源網(wǎng) :包含競技、交通、醫(yī)療、天氣等數(shù)據(jù)。
深圳市政府數(shù)據(jù)開放平臺 :交通、文娛、就業(yè)、基礎(chǔ)設(shè)施等數(shù)據(jù)。
上海市政務(wù)數(shù)據(jù)服務(wù)網(wǎng) :覆蓋經(jīng)濟建設(shè)、文化科技、信用服務(wù)、交通出行等12個重點領(lǐng)域數(shù)據(jù)。
貴州省政府數(shù)據(jù)開放平臺 :貴州省在政務(wù)數(shù)據(jù)開放方面做的確實不錯。
Data.gov :美國政府開放數(shù)據(jù),包含氣候、教育、能源金融等各領(lǐng)域數(shù)據(jù)。
3 數(shù)據(jù)競賽網(wǎng)站
競賽的數(shù)據(jù)集通常干凈且可研究性非常高。
DataCastle :專業(yè)的數(shù)據(jù)科學(xué)競賽平臺。
Kaggle :全球最大的數(shù)據(jù)競賽平臺。
天池 :阿里旗下數(shù)據(jù)科學(xué)競賽平臺。
Datafountain :CCF制定大數(shù)據(jù)競賽平臺。
二 利用爬蟲可獲得有價值數(shù)據(jù)
這里給出了一些網(wǎng)站平臺,我們可以使用爬蟲爬取網(wǎng)站上的數(shù)據(jù),某些網(wǎng)站上也給出獲取數(shù)據(jù)的API接口,但需要付費。
1 財經(jīng)數(shù)據(jù)
(1)新浪財經(jīng):免費提供接口,這篇博客教授了如何在新浪財經(jīng)上獲取獲取歷史和實時股票數(shù)據(jù)。
(2)東方財富網(wǎng):可以查看財務(wù)指標或者根據(jù)財務(wù)指標選股。
(3)中財網(wǎng):提供各類財經(jīng)數(shù)據(jù)。
(4)黃金頭條:各種財經(jīng)資訊。
(5)StockQ:國際股市指數(shù)行情。
(6)Quandl:金融數(shù)據(jù)界的維基百科。
(7)Investing:投資數(shù)據(jù)。
(8)整合的96個股票API合集。
(9)Market Data Feed and API:提供大量數(shù)據(jù),付費,有試用期。
2 網(wǎng)貸數(shù)據(jù)
(1)網(wǎng)貸之家:包含各大網(wǎng)貸平臺不同時間段的放貸數(shù)據(jù)。
(2)零壹數(shù)據(jù):各大平臺的放貸數(shù)據(jù)。
(4)網(wǎng)貸天眼:網(wǎng)貸平臺、行業(yè)數(shù)據(jù)。
(5)76676互聯(lián)網(wǎng)金融門戶:網(wǎng)貸、P2P、理財?shù)然ソ饠?shù)據(jù)。
3 公司年報
(1)巨潮資訊:各種股市咨詢,公司股票、財務(wù)信息。
(2)SEC.gov:美國證券交易數(shù)據(jù)
(3)HKEx news披露易:年度業(yè)績報告和年報。
4 創(chuàng)投數(shù)據(jù)
(1)36氪:最新的投資資訊。
(2)投資潮:投資資訊、上市公司信息。
(3)IT桔子:各種創(chuàng)投數(shù)據(jù)。
5 社交平臺
(1)新浪微博:評論、輿情數(shù)據(jù),社交關(guān)系數(shù)據(jù)。
(2)Twitter:輿情數(shù)據(jù),社交關(guān)系數(shù)據(jù)。
(3)知乎:優(yōu)質(zhì)問答、用戶數(shù)據(jù)。
(4)微信公眾號:公眾號運營數(shù)據(jù)。
(5)百度貼吧:輿情數(shù)據(jù)
(6)Tumblr:各種福利圖片、視頻。
6 就業(yè)招聘
(1)拉勾:互聯(lián)網(wǎng)行業(yè)人才需求數(shù)據(jù)。
(2)中華英才網(wǎng):招聘信息數(shù)據(jù)。
(3)智聯(lián)招聘:招聘信息數(shù)據(jù)。
(4)獵聘網(wǎng):高端職位招聘數(shù)據(jù)。
7 餐飲食品
(1)美團外賣:區(qū)域商家、銷量、評論數(shù)據(jù)。
(2)百度外賣:區(qū)域商家、銷量、評論數(shù)據(jù)。
(3)餓了么:區(qū)域商家、銷量、評論數(shù)據(jù)。
(4)大眾點評:點評、輿情數(shù)據(jù)。
8 交通旅游
(1)12306:鐵路運行數(shù)據(jù)。
(2)攜程:景點、路線、機票、酒店等數(shù)據(jù)。
(3)去哪兒:景點、路線、機票、酒店等數(shù)據(jù)。
(4)途牛:景點、路線、機票、酒店等數(shù)據(jù)。
(5)貓途鷹:世界各地旅游景點數(shù)據(jù),來自全球旅行者的真實點評。
類似的還有同程、驢媽媽、途家等
9 電商平臺
(1)亞馬遜:商品、銷量、折扣、點評等數(shù)據(jù)
(2)淘寶:商品、銷量、折扣、點評等數(shù)據(jù)
(3)天貓:商品、銷量、折扣、點評等數(shù)據(jù)
(4)京東:3C產(chǎn)品為主的商品信息、銷量、折扣、點評等數(shù)據(jù)
(5)當當:圖書信息、銷量、點評數(shù)據(jù)。
類似的唯品會、聚美優(yōu)品、1號店等。
10 影音數(shù)據(jù)
(1)豆瓣電影:國內(nèi)最受歡迎的電影信息、評分、評論數(shù)據(jù)。
(2)時光網(wǎng):最全的影視資料庫,評分、影評數(shù)據(jù)。
(3)貓眼電影專業(yè)版:實時票房數(shù)據(jù),電影票房排行。
(4)網(wǎng)易云音樂:音樂歌單、歌手信息、音樂評論數(shù)據(jù)。
11 房屋信息
(1)58同城房產(chǎn):二手房數(shù)據(jù)。
(2)安居客:新房和二手房數(shù)據(jù)。
(3)Q房網(wǎng):新房信息、銷售數(shù)據(jù)。
(4)房天下:新房、二手房、租房數(shù)據(jù)。
(5)小豬短租:短租房源數(shù)據(jù)。
12 購車租車
(1)網(wǎng)易汽車 :汽車資訊、汽車數(shù)據(jù)。
(2)人人車 :二手車信息、交易數(shù)據(jù)。
(3)中國汽車工業(yè)協(xié)會 :汽車制造商產(chǎn)量、銷量數(shù)據(jù)。
13 新媒體數(shù)據(jù)
新榜:新媒體平臺運營數(shù)據(jù)。
清博大數(shù)據(jù):微信公眾號運營榜單及輿情數(shù)據(jù)。
微問數(shù)據(jù):一個針對微信的數(shù)據(jù)網(wǎng)站。
知微傳播分析:微博傳播數(shù)據(jù)。
14 分類信息
(1)58同城:豐富的同城分類信息。
(2)趕集網(wǎng):豐富的同城分類信息。
來源: 數(shù)據(jù)城堡