大數據服務創業公司Connotate——Web數據抽取工具Agent
Connotate是一家為美聯社、路透社、道瓊斯等大型公司對全球上千個網站的非結構化數據進行實時分類和分析的公司。
Web數據監測軟件提供商Connotate公司的董事長瑞恩穆赫蘭道補充說：“提取信息的時間減少了，用來思考如何制定相應計劃的時間增多了，決策的正確性自然就上升了。例如，作為我公司的董事長，我不但可以從我們的銷售周期上看到我們產品的銷售趨勢，同時還可以知道這樣的銷售趨勢對我們的業務將會有什么樣的影響，然后我就可以快速、有效的決定公司未來的發展策略。”
產品功能：
Connotate利用機器學習自動生成的高效代碼和輔助配置，其數據抽取的工具稱為Agent。
在Agents的指引下，用戶能精準地獲得需要的信息—Connotate在過濾了廣告和無關信息的同時，將非結構化數據轉化成為支持業務流程的可讀性數據。
Connotate的解決方案相比于網頁腳本工具要優越得多，由于網站格式不斷變化，修整是一項很重要的工程，Connotate的解決方案具有較強的適用性。
各網站都在不斷地更新。優化解決方案，不但是為了精準地檢測網頁內容的變化，而且是為了更有效率地提高推送信息。過濾垃圾信息和刪除重復數據可使工作流取得更大成效.
部署選項
Connotate能夠滿足用戶的業務之需，并且適應今后的發展和變化。而且，Connotate能夠提供靈活實用的解決方案以滿足用戶具體的業務需求。
實地部署Connotate
在我們點擊式的控制界面的幫助下，即使不是專業的技術人員，也可以輕松快捷的對各大網站進行數據監控和抽齲
在一到兩個課程的學習中，用戶可以熟練地創建Agents。
即使不是專業的技術人員，也可以成功訪問上千家網站
Connotate的工作安排表給用戶帶來了方便
當網站停止運行或其他方式無法返回數據時，Agents會及時警報通知
數據傳輸功能的設置簡易
Connotate實地部署的解決方案能夠以獨特的視覺抽象技術，即使是非專業的開發人員也可以迅速地設置新網站的監控系統，而且進行快速大規模的部署。
Connotate的方案還支持把SOAP與REST Web Services APIs集成到工作流中，也可以快速創建任何兼容開放數據庫連接（ODBC）的數據庫，包括SQL服務器、MySQL、Oracle等。
Connotate 實地部署是用戶理想選擇：用戶可以建立自己的應用程序，并根據自己的喜好將集成到工作流中，創建數據收集功能，方便用戶管理整個公司或者具體的某個部門。
Connotate服務器托管解決方案
基于數據中心，Connotat能夠為用戶提供服務器托管的解決方案，根據用戶在日程或者在交易基礎上的要求，推送數據。
不用進入計算機系統就可以迅速部署和整合數據。
Connotate多年的團隊專業服務經驗，為用戶完成大規模的布置任務和方案優化。
服務等級協議(SLAs)與全天候的服務支持
對于一些企業或者部門來說，若沒有時間從頭到尾跟進一項目，或者把IT技術互動到使用計算機資源中去，此時， Connotate 服務器托管方案是用戶理想的選擇。
用戶可以通過Connotate的解決方案選擇恰當的網站和工作，降低平均成本，縮短上市時間。
Connotate的解決方案為可以將非結構化數據轉換為結構化數據并推送給用戶，而且還可以導入到分析應用程序中，大大簡化了工作，使用戶能夠更好更快地做出戰略決策。
不受網站格式變化影響，可視化抽取&只需要用著重色標記就可以改變監測。
創新特點：
下表總結了傳統編程方案和Connotate混合型的解決方案的區別。
(1)
(2)
(3)三種數據挖掘方式的比較：
運行情況：
多個服務器組合主要是為了能夠更好的發揮出Connotate的厲害之處和更好的為用戶提供信息服務。
一臺服務器用于對接Connotate的數據庫，一臺服務器用于對接Web，另外一臺服務器是用于數據處理，這三個過程是相互聯系相互制約的。
建議的服務器配置如下：
數據庫服務器（數據抽取的關鍵）
2GHz雙四核以上的處理器
32GB以上的內存
操作系統-146 GBSCSI 驅動 (RAID-1)
結構化數據庫&數據：450GBSCSI 驅動(RAID-10)
Web服務器
2GHz雙四核以上的處理器
8GB以上的內存
146 GB SCSI 驅動 (RAID-1)
處理服務器
2GHz雙四核以上的處理器
8GB以上的內存
146 GB SCSI 驅動 (RAID-1)
Connotate的部分用戶列表：
a、 Connotate在公共資源中抽取數據，為某美國州政府部門推送簡潔幾近實時的信息，為其研究調查工作做出了不可磨滅的貢獻。
b、FactSet利用Connotate在世界各地的成千上百個網站中收集數據，并向其金融行業的用戶推送數據，支持他們更好地做出投資決策。FactSet的客戶要求數據是精準、實時和完整的。使FactSet無需增加管理人員的數量的同時增加企業監控數量，能夠訪問到一些沒有寬帶的偏遠地方的數據，方便快捷精準！
c、Connotate為美國某背景調查公司自動化抽取數據和監控數據，為用戶大大提高效率，原來需要八小時的工作先在只需要6分鐘。背景調查的次數每年增加62%，但是費用卻減少$150,000，大大提高效率提供優質的數據，收入增加了至少2.5倍。
d、Connotate自動化監控和抽取管理條例的變化數據，以避免經濟處罰。Connotate為MassHousing監控住房和城市發展部的管理條例的變化，捕捉到最新管理條例帶來的機遇。
e、Connotate為某人力資源服務商持續的自動化監控1000多個網絡資源，大大提高發布職位的精準度。
f、Connotate的自動化方案大大減少了數據抽取的周期時間，為某醫療設備企業原來需要八小時完成的工作現在只需要六分鐘。
g、 Connotate為華爾街一家投資機構使用戶對市場部門個體股票的微小動態都了如指掌，獲得支持買方購買的可行性洞察，提供了產品價格、庫存情況、廣告話費、轉換率、訂單情況和其他重要的非結構化數據信息，而這些數據（用其他工具）是很難抽取的但是卻是很有分析價值的。
h、Connotate為一家提供生化有機化學產品的企業Sigma-Aldrich，提供精準的動態的價格信息， 確保其為187,000多個產品更好地做出優化和定位。
i、 Connotate為某禮品和家居設計批發企業監控了90家零售商的網站，通過消費者的購物車記錄預計其交易，以抽取可獲得的庫存信息和價格信息。
j、無需人工干預，90%的Web數據都是Connotate幫助抽取的。而且Connotate還能實現把非結構化數據轉換為結構化數據，與后臺的引擎系統對接，如Salesforce。Connotate在某數據發行商的應用。
k、 一前50強的產品公司Luminoso利用Connotate在社交網站youtube中發現消費者對新產品的態度，以幫助他們做出更好的決策和提高。
l、Connotate為美聯社從各個目標網站上收集聚合信息，并轉換為可用的數據格式。
實戰效益：
a、全面，自動全天候抽取相關網站的內容，新聞、門戶、論壇、微博（新浪、騰訊）
b、高效，大大減少了數據抽取需要的時間，又提高了精準度，避免了人工干預帶來的難以發現的錯誤。
c、低成本，無需專業的技術人員，普通職員也可以進行操作，減少了人工成本。
d、發現洞察，及時發現并解決問題，大大有利于決策的制定和維護社會穩定和促進和平。
e、毫無保留地導入到數據倉庫中，把關注的網絡數據轉換為自己私有的數據庫。為政府部門維穩促和發揮至關重要的作用。
f、適用性，不受網站格式變化的影響，無需編寫代碼，維護費用幾乎為0.
End.