首先，这个是“识别”问题，比“搜索”问题更难。

诸如图图搜、淘淘搜这样的购物搜索，首先它们是限定在服装这个小范围内的，而且男装、女装、上衣、裤子都得自己选好分类（图图搜只用选男女，但是搜出来衣服裤子什么都有）。这样的搜索肯定不是一个像素一个像素去对比的，而是需要对图片库里面的图片提取一些特征，比如颜色、纹理、形状等等，将它们转换为向量形式存起来，对于搜索的图片也提取特征向量，然后进行向量的相似度计算把排序最前的展现出来就行。当然搜索还涉及大数据处理的问题，线性的匹配肯定是相当耗时的，会用到一些聚类、KD-Tree的方法，现在最流行的是LSH（Locatity sensitive hashing）。

下面说“识别”问题，识别问题要告诉我具体这个东西是什么，或者人脸识别要告诉我是谁，这个难度就要大的多。首先第一步做训练集，就是给一些图片标注类别，作为百度这样的搜索引擎当然可以根据爬虫爬到的图片和它周围的文本来自动标记（准确率怎么样就另一说了，肯定没人工准）。然后就是提取特征和分类器训练了，有了分类器之后，当有新的需要识别的图片提取特征向量之后就会进入分类器，将分类结果输出。当然这个训练和分类的过程是非常难的，什么样的图片提什么样的特征，用什么样的分类器，都很复杂。我也只是知道大致的原理，见笑。