大数跨境

Python网络服务

Python网络服务 Python程序员
2016-02-07
0
导读:在网络上,最常见的两个程序间进行数据交换的数据格式,称之为“可扩展标记语言” 或者简称为XML。


Python部落(www.freelycode.com)组织翻译, 禁止转载


自从能让程序在HTTP上传输和解析文档后,没多久,我们又专门设计了一种文档,能够让其他程序也能使用的(不是像HTML显示在在浏览器上)。


在网络上,最常见的两个程序间进行数据交换的数据格式,称之为“可扩展标记语言” 或者简称为XML。


13.1  可扩展标记语言 - XML


XML看上去类似于HTML,但XML比HTML更加有结构性。下面是一个简单的标准XML文档。


<person>

  <name>Chuck</name>

  <phone type="intl">

     +1 734 303 4456

   </phone>

   <email hide="yes"/>

</person>


为了便于更好的理解XML文档,我们可以理解为XML文档是一个树结构文档。在上面的示例中,Person可以理解为是一棵树的根节点,而且其他节点都是其的子节点。比如name,phone等。



13.2  解析XML


下面是一个小示例,该示例能够解析XML文档,并且能从XML文档中提取一些数据元素。


import xml.etree.ElementTree as ET


data = '''

<person>

  <name>Chuck</name>

  <phone type="intl">

     +1 734 303 4456

   </phone>

   <email hide="yes"/>

</person>'''


tree = ET.fromstring(data)

print 'Name:',tree.find('name').text

print 'Attr:',tree.find('email').get('hide')


调用“formstring”方法,可以把XML表示的字符串转换为XML节点的“树”。当XML转换为一个树后,我们有很多的方法,能够使我们可以从XML提取的数据。


“find”方法会遍历整个XML树,与此同时,它会对每一个的子节点进去对比,直到发现指定的标签。每个节点可以有文本文字,属性(例如,hide)或者它自己的子节点。每个节点可以作为每一个节点树的首节点。


Name: Chuck

Attr: yes


在上一个示例中,使用ElementTree XML解析器,不仅能够有效的进行XML文档格式验证,而且能使我们不用担心XML语法规则,直接从XML文档中提取数据。

 

13.3  节点循环


通常来说,一个标准XML文档有很多节点。为了能够对所有节点进行遍历,我们必须使用循环方法。下面的示例,我们将遍历所有用户节点。


import xml.etree.ElementTree as ET


input = '''

<stuff>

    <users>

        <user x="2">

            <id>001</id>

            <name>Chuck</name>

        </user>

        <user x="7">

            <id>009</id>

            <name>Brent</name>

        </user>

    </users>

</stuff>'''


stuff = ET.fromstring(input)

lst = stuff.findall('users/user')

print 'User count:', len(lst)


for item in lst:

    print 'Name', item.find('name').text

    print 'Id', item.find('id').text

    print 'Attribute', item.get('x')


“findall”方法可以获得一个Python列表类型的子树。这个子树代表了在XML树中的一个用户节点。


这样我们可以写一个for循环,对每一个用户节点进行遍历,这样我们可以获得每个用户节点的名字,ID号,文本元素和用户节点的X属性。


User count: 2

Name Chuck

Id 001

Attribute 2

Name Brent

Id 009

Attribute 7


13.4  应用程序接口 (API)


我们现在实现了程序间基于HTTP协议的数据交换,也实现了基于XML格式的复杂数据交换。


为了能够结合这些技术,我们定义了一个“契约”。这个契约有一个通用名,称之为应用程序接口或者APIs。通常来说,当我们使用一个API时,这个API服务提供方已经提供了一些的服务。如果第三方程序想使用这些服务,它们必须跟着服务提供方的规则。


当我们开始搭建我们的应用程序时,使用了第三方提供的服务。这时,我们称这个应用程序为“面向服务结构程序”或者SOA。SOA应用程序和非SOA应用程序区别在于,SOA应用程序是使用其他第三方应用程序组件而成的,而非SOA应用程序是一个单一独立应用程序,不依靠其他第三方程序提供的服务。


现今互联网上,我们可以看见很多SOA的案例。我们可以去一个航空网站,能够订机票订酒店或者订汽车。但事实上,酒店信息是不储存在航空公司服务器上的。而是航空公司通过使用网络服务,连接酒店服务器,获取酒店数据并显示给用户。当一个用户在航空公司网站上预定一个宾馆房间时,航空公司网站使用另一个网络服务连接宾馆系统,然后预定一个宾馆房间。当付款时,航空公司仍然使用其他电脑和网络服务进行付款操作。


一个面向结构服务程序具有以下优点:

1 便于维护。我们只是对获得的数据进行操作,而不会对原生数据进行操作。例如,我们只获取酒店预订数据,但不会影响到其数据在酒店服务器上。

2  数据所有者可以指定他们自己的规则,如何让第三方程序使用他们的数据。


由于以上的的优点,所以当设计一个SOA系统时,必须仔细设计,这样才能同时获得一个良好的性能和达到用户需求。


如果一个应用程序拥有以上服务,例如API等,那么我们称这些服务为网络服务。


13.5  Twitter网络服务


备注:这章节写完后,Twitter更改很多它们的API。即使Twitter API代码失效,但它仍然能告诉你,一个基于XML的API是如何运作的。


你可以前往http://apiwiki.twitter.com/,阅读Twiiter API文档。 Twitter API是一个REST形式的网络服务。 接下来,我们可以做一个示例。此示例中,我们将通过一个API去获取一个朋友列表和及其状态。你可以通过以下URL来获取数据:


http://api.twitter.com/1/statuses/friends/drchuck.xml


由于浏览器中查看drchuck的twitter朋友列表,它看上有点乱七八糟。为了能够看到真正Twitter返回的XML数据,你可以查看网络页面的源代码。


我们可以通过Python的urllib库获得这个XML数据。


import urllib


TWITTER_URL = 'http://api.twitter.com/l/statuses/friends/ACCT.xml'


while True:

    print ''

    acct = raw_input('Enter Twitter Account:')

    if ( len(acct) < 1 ) : break

    url = TWITTER_URL.replace('ACCT', acct)

    print 'Retrieving', url

    document = urllib.urlopen (url).read()

    print document[:250]


程序命令提示框中,输入Twitter账号,程序就会获取这个Twiiter账号中所有朋友和其状态信息,并且会显示返回数据结果中前250字符。


python twitter1.py


Enter Twitter Account:drchuck

Retrieving http://api.twitter.com/l/statuses/friends/drchuck.xml

<?xml version="1.0" encoding="UTF-8"?>

<users type="array">

<user>

  <id>115636613</id>

  <name>Steve Coppin</name>

  <screen_name>steve_coppin</screen_name>

  <location>Kent, UK</location>

  <description>Software developing, best practicing, agile e


Enter Twitter Account:


在这个案例中,我们已读取XML数据,就像读取一个HTML网络页面一样。如果我们想从XML中获取数据,我们可以使用Python的string方法,但它会变得非常复杂,就像我们已经开始深挖XML细节一样。


我们获得XML数据,大致看看如下所示:


<?xml version="1.0" encoding="UTF-8"?>

<users type="array">

  <user>

    <id>115636613</id>

    <name>Steve Coppin</name>

    <screen_name>steve_coppin</screen_name>

    <location>Kent, UK</location>

    <status>

      <id>10174607039</id>

      <source>web</source>

      </status>

  </user>

  <user>

    <id>17428929</id>

    <name>davidkocher</name>

    <screen_name>davidkocher</screen_name>

    <location>Bern</location>

    <status>

      <id>10306231257</id>

      <text>@MikeGrace If possible please post a detailed bug report </text>

    </status>

  </user>

  ...


最顶端标签是users,它有很多个user标签。每个user标签都有个status标签。


13.6  处理API数据


当我们从API中获取一个标准XML数据,我们通常会使用XML解析器(例如:EelementTree)来解析XML数据,从而获得一些有用的信息。在Python中,我们使用ElementTree来解析XML数据。


下面示例中,我们将通过Twiiter API来获取朋友和其状态数据,然后进行XML解析,最后输出前四个朋友和其状态。


import urllib

import xml.etree.ElementTree as ET


TWITTER_URL = 'http://api.twitter.com/l/statuses/friends/ACCT.xml'


while True:

    print ''

    acct = raw_input('Enter Twitter Account:')

    if ( len(acct) < 1 ) : break

    url = TWITTER_URL.replace('ACCT', acct)

    print 'Retrieving', url

    document = urllib.urlopen (url).read()

    print 'Retrieved', len(document), 'characters.' 

    tree = ET.fromstring(document)

    count = 0

    for user in tree.findall('user'):

        count = count + 1

        if count > 4 : break

        print user.find('screen_name').text

        status =  user.find('status')

        if status : 

            txt = status.find('text').text

            print '  ',txt[:50]


我们使用findall方法获取一个列表的用户节点,然后对列表中的用户信息进行遍历。对每一个每用户节点,我们会输出他们的screen_name和status。如果有status节点,就打印出前50个字符的status文本,如果没有,则不输出。


这个方法比较简单明了,我们使用findall方法可以获得一个列表节点或者单个节点。如果一个节点带有很多字节点的元素,那么我们会进一步获取这个节点的信息,直到我们找到我们想要的数据。


示例代码如下:


python twitter2.py 


Enter Twitter Account:drchuck

Retrieving http://api.twitter.com/l/statuses/friends/drchuck.xml

Retrieved 193310 characters.

steve_coppin

   Looking forward to some "oh no the markets closed,

davidkocher

   @MikeGrace If possible please post a detailed bug 

hrheingold

   From today's Columbia Journalism Review, on crap d

huge_idea

   @drchuck  #cnx2010 misses you, too.  Thanks for co


Enter Twitter Account:hrheingold

Retrieving http://api.twitter.com/l/statuses/friends/hrheingold.xml

Retrieved 208081 characters.

carr2n

   RT @tysone: Saturday's proclaimation by @carr2n pr

tiffanyshlain

   RT @ScottKirsner: Turning smartphones into a tool 

soniasimone

   @ACCompanyC Funny, smart, cute, and also nice! He 

JenStone7617

   Watching "Changing The Equation: High Tech Answers


Enter Twitter Account:


使用ElementTree比使用Python的string方法,对XML解析和获取字段更加简单。


13.7  词汇表


API:

应用程序接口 - 两个应用程序组件间的一种交互模式。


ElementTree:

一个Python自带库,通常用于解析XML数据 


XML:

可扩展标记语言 - 一种结构式数据标签格式 


REST:

表述性状态传递 - 提供一个基于HTTP协议应用程序的数据访问的网络服务。

 

SOA:

面向服务架构 - 一个应用程序是通过网络连接的组件。


13.8  练习


练习1   修改上文中Twitter示例,命名为twitter2.py。这个程序能够读取给定Twitter用户账号的朋友数据,并且能够打印出每个朋友的个人信息。每个朋友信息格式为:第一行为朋友的twitter用户名,第二行为朋友的地址信息,第三行为朋友最新一条状态小心。以下是一个完整程序输出。


Enter Twitter Account:drchuck

Retrieving http://api.twitter.com/l/statuses/friends/drchuck.xml

Retrieved 194533 characters.

steve_coppin

   Kent, UK

   Looking forward to some "oh no the markets closed,

davidkocher

   Bern

   @MikeGrace If possible please post a detailed bug 

hrheingold

   San Francisco Bay Area

   RT @barrywellman: Lovely AmBerhSci Internet & Comm

huge_idea

   Boston, MA

   @drchuck  #cnx2010 misses you, too.  Thanks for co


英文原文: http://www.pythonlearn.com/html-007/cfbook014.html

译者: AqusJC

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k