搜索引擎往往难以对动态网站（即与内容数据库相连的网站）进行完整索引。
搜索引擎最难处理的网站类型是那些 URL 结构过于复杂的网站，包括 URL 中包含大量变量（表现为多个 & 和 = 符号的出现，以及会话 ID、用户 ID 和引荐跟踪代码）。Google 的高级工程师 Matt Cutts 在今年八月于圣何塞举行的搜索引擎策略会议上表示，如果你的 URL 中变量数量为一到两个，通常是安全的；但如果其中一个变量名为 id（或类似会话 ID 的名称），则情况就不一定了。
过于复杂的 URL 不仅不利于用户复制该 URL 并粘贴到电子邮件中发送给朋友，也不利于用户在他们的网站上链接到你网站深处的特定页面，而且也不利于搜索引擎爬虫，因为这些复杂 URL 暗示该页面是动态生成的，可能导致所谓的“爬虫陷阱”。
当搜索引擎爬虫不断跟随指向看似不同但实际内容相同的 URL 的链接时，就会形成爬虫陷阱。
例如，想象一下搜索引擎爬虫访问网站时被分配了一个会话 ID，该 ID 随后嵌入到该页面上所有页面的 URL 中。当下一次爬虫访问此页面时，它会获得一个全新的会话 ID，因为你的 Web 服务器无法检测到它是几分钟前访问过的那个相同爬虫。这会导致完全相同的页面被多次索引，显然这对搜索引擎及其用户都是不利的，因为存在大量重复内容。
最糟糕的爬虫陷阱会导致爬虫面对无限多样的 URL，尽管实际页面集合有限。每个搜索引擎对于 URL 中可接受的变量数量都有其自身的容忍度。然而，核心思想是从 URL 中消除所有表明页面动态特征的迹象，即从 URL 中移除所有问号、& 号、= 号、cgi-bin、用户 ID 和会话 ID，从而使页面更受爬虫欢迎。
简洁清晰的 URL 不仅能消除页面可能面临的索引问题，作为额外好处，你还更有可能从其他网站获得更多“深层链接”（即直接链接到你网站深处某个页面的链接），因为这样的 URL 看起来对用户友好、稳定且易于复制粘贴（无论是粘贴到浏览器、电子邮件还是网页编辑器中）。
最佳做法是将所有动态链接替换为搜索引擎友好的链接。不要仅仅为了走捷径而创建一个包含指向所有这些搜索引擎友好URL的链接的站点地图页面，同时保留网站上其余链接不变。这是因为你未修复的URL无法增强具有友好URL页面的链接收益。你希望通过在每个URL中尽可能减少变体来最大化你的链接收益。URL中的变体会导致链接收益的稀释，因为并非所有链接都在为同一个页面投票。有些链接分散开来，有些链接在为具有一个URL的页面版本投票，而其他链接在为具有不同URL的同一页面其他版本投票。
假设你有一个动态网站，就URL而言尚未对搜索引擎友好，但你希望使其成为这样，你有三种选择：
一种方法是使用URL重写服务器模块（如Apache的modrewrite或IIS服务器的ISAPIRewrite）来重写URL。向你的服务器管理员咨询有关这些模块的信息。
第二种选择是重新编码你的电子商务平台，使其不通过“查询字符串”传递信息，而是使用“路径信息”环境变量。换句话说，你会重新编码脚本以查找嵌入在目录名或文件名中的变量，而不是“查询字符串”，但这通常实现起来相当复杂。
第三种选择是使用第三方托管代理解决方案——即应用服务提供商（ASP）。
第一种方法通常是更可取的，前提是你拥有在服务器上实施它所需的IT资源，并且你的服务器支持URL重写所需的技术。如果你无法进行URL重写，但有可用的编程资源以及对你电子商务平台源代码的访问权限，那么第二种方法是一个不错的选择。
但如果由于任何原因这两种方法都不可行，你可以使用一种自动为你修正URL的第三方解决方案。这在代码冻结期间（例如假日季节）特别有用。
你可能会想知道新的Google Sitemaps计划在这里处于什么位置。嗯，直到Google Sitemaps支持让你传达哪些URL变体指向相同内容的能力之前，它是一个不完整的解决方案。这是因为它将无法在所有那些URL变体上聚合PageRank。你可能已经有五个版本的產品页面被Google索引，而Sitemaps可能会使问题恶化，因为它会让第六个版本被索引，而不是将五个版本合并为一个具有更高PageRank的版本。
无论你采取哪种方法，使你的URL对搜索引擎友好都将带来回报。