了解“以圖搜圖”背後的原理-常見問題-火鷹科技

“以圖搜圖”正式的名稱應該叫“相似圖像搜索引擎”，也稱為“反向圖片搜索引擎”。最初的圖像搜索引擎是基於文本關鍵字檢索的。早期的Altavista、Lycos等搜索引擎正是利用圖像的文件名和路徑名、圖像周圍的文本，以及Alt標簽中的註釋索引和搜索相關圖像的。從本質上來說，這樣的圖像搜索引擎其實還是基於文本搜索引擎的。有時圖像周邊的這些文本信息和圖像並沒有關系，會造成搜索出來的部分圖像結果和查詢關鍵詞並不壹致。為了避免這種問題，有些搜索引擎采用人工的方式對圖像進行標註索引。雖然人工標註保證了搜索引擎的查準率，但是它限制了圖像索引的規模，不可能有很好的查全率。而有時，圖像的內容是很難用幾個關鍵詞就能完整描述出來的。在某種情況下，無論是利用圖像網頁相關文本信息，還是人工標註文字說明，都很難做到較高的搜索準確度。

1992年，T. Kato提出了基於內容的圖像檢索（CBIR）的概念，它使用圖像的顏色、形狀等信息作為特征構建索引以實現圖像檢索，即我們通常所說的“以圖搜圖”。基於這壹概念，IBM開發了第壹個商用的CBIR系統QBIC（Query By Image Content），用戶只需輸入壹幅草圖或圖像，便可以搜索出相似的圖像。同壹時期，很多公司也將這壹技術引入搜索引擎。哥倫比亞大學開發的WebSEEK系統不僅提供了基於關鍵詞的圖像搜索和按照圖像類目的主題瀏覽，還可以利用圖像的顏色信息進行基於內容的圖像搜索。Yahoo的ImageSurfer也提供了使用例圖的顏色、形狀、紋理特征，以及它們的組合來進行基於內容的圖像搜索功能。隨著視覺技術的進步和發展，越來越多的搜索引擎采用這壹方式來進行圖像搜索，並在此基礎上不斷演進。

早期曾使用過“以圖搜圖”方式進行圖像搜索的讀者可能會有這樣的印象，這種圖像搜索方式在返回的結果的準確度往往不太令人滿意。為此，很多視覺研究人員、圖像技術開發者不斷提出新的圖像特征表示算法。雖然準確率在壹點點提高，但是並未根本性地解決準確度問題。這究竟是什麼原因呢？原因在於無論是圖像的顏色、紋理、形狀這些全局信息，還是後來的SIFT等局部圖像信息，都是人為設計的硬編碼，還不能完整地表達人類對整幅圖像內容的理解。

那圖像搜索的準確率還能提高嗎？隨著人工智能（特別是深度學習理論和技術）的發展，人們逐步找到了解決方案。深度學習技術極大地提高了圖像表達的準確性。諸多主流圖像搜索引擎紛紛引入了深度學習算法來提高圖像搜索的準確率。

如今我們日常使用的百度、搜狗等通用搜索引擎均提供了相似圖像檢索功能。淘寶、京東等電商平臺也利用自己龐大的商品圖像庫開發了垂直領域內的圖像檢索功能來滿足消費者們不易用文字描述的商品搜索需求。有更多的創業公司在各自的領域內使用相似圖像搜索技術來滿足形形色色圖像檢索需求，服務於更多的行業和消費者。

雖然圖像檢索技術已廣泛應用於我們的生活當中，但目前這壹技術還未完全成熟，仍有許多問題需要解決，改進和提高的空間還很大。搜索的結果和用戶的期望還有壹些距離，存在壹定的圖像語義鴻溝。這也是從事這項技術研究與開發的人員不斷進步的源動力。