Internet radio browser GUI for music/video streams from various directory services.

⌈⌋ branch:  streamtuner2


Hex Artifact Content

Artifact fc85eaddb924c98bd9b6e92d328700ac41e62162:


0000: 23 0a 23 20 65 6e 63 6f 64 69 6e 67 3a 20 55 54  #.# encoding: UT
0010: 46 2d 38 0a 23 20 61 70 69 3a 20 73 74 72 65 61  F-8.# api: strea
0020: 6d 74 75 6e 65 72 32 0a 23 20 74 79 70 65 3a 20  mtuner2.# type: 
0030: 66 75 6e 63 74 69 6f 6e 73 0a 23 20 74 69 74 6c  functions.# titl
0040: 65 3a 20 68 74 74 70 20 64 6f 77 6e 6c 6f 61 64  e: http download
0050: 20 2f 20 6d 65 74 68 6f 64 73 0a 23 20 64 65 73   / methods.# des
0060: 63 72 69 70 74 69 6f 6e 3a 20 68 74 74 70 20 75  cription: http u
0070: 74 69 6c 69 74 79 0a 23 20 76 65 72 73 69 6f 6e  tility.# version
0080: 3a 20 31 2e 35 0a 23 0a 23 20 55 74 69 6c 69 74  : 1.5.#.# Utilit
0090: 79 20 63 6f 64 65 20 66 6f 72 20 48 54 54 50 20  y code for HTTP 
00a0: 72 65 71 75 65 73 74 73 2c 20 75 73 65 64 20 62  requests, used b
00b0: 79 20 61 6c 6c 20 63 68 61 6e 6e 65 6c 20 70 6c  y all channel pl
00c0: 75 67 69 6e 73 2e 0a 23 0a 23 20 50 72 6f 76 69  ugins..#.# Provi
00d0: 64 65 73 20 61 20 68 74 74 70 20 22 47 45 54 22  des a http "GET"
00e0: 20 6d 65 74 68 6f 64 2c 20 62 75 74 20 61 6c 73   method, but als
00f0: 6f 20 64 6f 65 73 20 50 4f 53 54 20 61 6e 64 20  o does POST and 
0100: 41 4a 41 58 2d 0a 23 20 73 69 6d 75 6c 61 74 69  AJAX-.# simulati
0110: 6e 67 20 72 65 71 75 65 73 74 73 20 74 6f 6f 2e  ng requests too.
0120: 20 48 6f 6f 6b 73 20 69 6e 74 6f 20 6d 61 69 6e   Hooks into main
0130: 73 20 67 74 6b 2e 73 74 61 74 75 73 62 61 72 28  s gtk.statusbar(
0140: 29 2e 0a 23 20 41 6e 64 20 63 61 6e 20 6e 6f 72  )..# And can nor
0150: 6d 61 6c 69 7a 65 20 55 52 4c 73 20 74 6f 20 61  malize URLs to a
0160: 6c 77 61 79 73 20 63 61 72 72 79 20 61 20 74 72  lways carry a tr
0170: 61 69 6c 69 6e 67 20 73 6c 61 73 68 0a 23 20 61  ailing slash.# a
0180: 66 74 65 72 20 74 68 65 20 64 6f 6d 61 69 6e 20  fter the domain 
0190: 6e 61 6d 65 2e 0a 0a 0a 66 72 6f 6d 20 63 6f 6e  name....from con
01a0: 66 69 67 20 69 6d 70 6f 72 74 20 2a 0a 69 6d 70  fig import *.imp
01b0: 6f 72 74 20 72 65 71 75 65 73 74 73 0a 0a 23 2d  ort requests..#-
01c0: 2d 20 65 78 74 72 61 20 64 65 62 75 67 67 69 6e  - extra debuggin
01d0: 67 2c 20 68 74 74 70 3a 2f 2f 73 74 61 63 6b 6f  g, http://stacko
01e0: 76 65 72 66 6c 6f 77 2e 63 6f 6d 2f 71 75 65 73  verflow.com/ques
01f0: 74 69 6f 6e 73 2f 31 30 35 38 38 36 34 34 2f 68  tions/10588644/h
0200: 6f 77 2d 63 61 6e 2d 69 2d 73 65 65 2d 74 68 65  ow-can-i-see-the
0210: 2d 65 6e 74 69 72 65 2d 68 74 74 70 2d 72 65 71  -entire-http-req
0220: 75 65 73 74 2d 74 68 61 74 73 2d 62 65 69 6e 67  uest-thats-being
0230: 2d 73 65 6e 74 2d 62 79 2d 6d 79 2d 70 79 74 68  -sent-by-my-pyth
0240: 6f 6e 2d 61 70 70 6c 69 63 61 74 69 6f 6e 0a 69  on-application.i
0250: 66 20 63 6f 6e 66 2e 64 65 62 75 67 20 3e 3d 20  f conf.debug >= 
0260: 32 3a 0a 20 20 20 20 69 6d 70 6f 72 74 20 6c 6f  2:.    import lo
0270: 67 67 69 6e 67 0a 20 20 20 20 69 6d 70 6f 72 74  gging.    import
0280: 20 68 74 74 70 6c 69 62 0a 20 20 20 20 68 74 74   httplib.    htt
0290: 70 6c 69 62 2e 48 54 54 50 43 6f 6e 6e 65 63 74  plib.HTTPConnect
02a0: 69 6f 6e 2e 64 65 62 75 67 6c 65 76 65 6c 20 3d  ion.debuglevel =
02b0: 20 31 0a 20 20 20 20 6c 6f 67 67 69 6e 67 2e 62   1.    logging.b
02c0: 61 73 69 63 43 6f 6e 66 69 67 28 29 20 0a 20 20  asicConfig() .  
02d0: 20 20 6c 6f 67 67 69 6e 67 2e 67 65 74 4c 6f 67    logging.getLog
02e0: 67 65 72 28 29 2e 73 65 74 4c 65 76 65 6c 28 6c  ger().setLevel(l
02f0: 6f 67 67 69 6e 67 2e 44 45 42 55 47 29 0a 20 20  ogging.DEBUG).  
0300: 20 20 72 65 71 75 65 73 74 73 5f 6c 6f 67 20 3d    requests_log =
0310: 20 6c 6f 67 67 69 6e 67 2e 67 65 74 4c 6f 67 67   logging.getLogg
0320: 65 72 28 22 72 65 71 75 65 73 74 73 2e 70 61 63  er("requests.pac
0330: 6b 61 67 65 73 2e 75 72 6c 6c 69 62 33 22 29 0a  kages.urllib3").
0340: 20 20 20 20 72 65 71 75 65 73 74 73 5f 6c 6f 67      requests_log
0350: 2e 73 65 74 4c 65 76 65 6c 28 6c 6f 67 67 69 6e  .setLevel(loggin
0360: 67 2e 44 45 42 55 47 29 0a 20 20 20 20 72 65 71  g.DEBUG).    req
0370: 75 65 73 74 73 5f 6c 6f 67 2e 70 72 6f 70 61 67  uests_log.propag
0380: 61 74 65 20 3d 20 54 72 75 65 0a 0a 23 2d 2d 20  ate = True..#-- 
0390: 68 6f 6f 6b 73 20 74 6f 20 70 72 6f 67 72 65 73  hooks to progres
03a0: 73 20 6d 65 74 65 72 20 61 6e 64 20 73 74 61 74  s meter and stat
03b0: 75 73 20 62 61 72 20 69 6e 20 6d 61 69 6e 20 77  us bar in main w
03c0: 69 6e 64 6f 77 0a 66 65 65 64 62 61 63 6b 20 3d  indow.feedback =
03d0: 20 4e 6f 6e 65 0a 0a 23 20 53 65 74 73 20 65 69   None..# Sets ei
03e0: 74 68 65 72 20 74 65 78 74 20 6f 72 20 70 65 72  ther text or per
03f0: 63 65 6e 74 61 67 65 20 6f 66 20 6d 61 69 6e 20  centage of main 
0400: 77 69 6e 64 6f 77 73 27 20 73 74 61 74 75 73 20  windows' status 
0410: 62 61 72 2e 0a 23 0a 23 20 43 61 6e 20 65 69 74  bar..#.# Can eit
0420: 68 65 72 20 74 61 6b 65 20 61 20 66 6c 6f 61 74  her take a float
0430: 20 70 61 72 61 6d 65 74 65 72 20 28 65 2e 67 2e   parameter (e.g.
0440: 20 30 2e 39 39 20 66 6f 72 20 25 20 69 6e 64 69   0.99 for % indi
0450: 63 61 74 6f 72 29 0a 23 20 6f 72 20 74 65 78 74  cator).# or text
0460: 20 6d 65 73 73 61 67 65 2e 20 41 6c 74 65 72 6e   message. Altern
0470: 61 74 69 76 65 6c 79 20 74 77 6f 20 70 61 72 61  atively two para
0480: 6d 65 74 65 72 73 20 74 6f 20 75 70 64 61 74 65  meters to update
0490: 20 62 6f 74 68 2e 0a 64 65 66 20 70 72 6f 67 72   both..def progr
04a0: 65 73 73 5f 66 65 65 64 62 61 63 6b 28 2a 61 72  ess_feedback(*ar
04b0: 67 73 2c 20 2a 2a 6b 77 61 72 67 73 29 3a 0a 0a  gs, **kwargs):..
04c0: 20 20 23 20 75 73 65 20 72 65 73 65 74 20 76 61    # use reset va
04d0: 6c 75 65 73 20 69 66 20 6e 6f 6e 65 20 67 69 76  lues if none giv
04e0: 65 6e 0a 20 20 69 66 20 6e 6f 74 20 61 72 67 73  en.  if not args
04f0: 3a 0a 20 20 20 20 20 61 72 67 73 20 3d 20 5b 22  :.     args = ["
0500: 22 2c 20 31 2e 30 5d 0a 20 20 74 69 6d 65 6f 75  ", 1.0].  timeou
0510: 74 20 3d 20 6b 77 61 72 67 73 2e 67 65 74 28 22  t = kwargs.get("
0520: 74 69 6d 65 6f 75 74 22 2c 20 35 30 29 0a 0a 20  timeout", 50).. 
0530: 20 23 20 73 65 6e 64 20 74 6f 20 6d 61 69 6e 20   # send to main 
0540: 77 69 6e 0a 20 20 69 66 20 66 65 65 64 62 61 63  win.  if feedbac
0550: 6b 3a 0a 20 20 20 20 74 72 79 3a 20 5b 66 65 65  k:.    try: [fee
0560: 64 62 61 63 6b 28 64 2c 20 74 69 6d 65 6f 75 74  dback(d, timeout
0570: 3d 74 69 6d 65 6f 75 74 29 20 66 6f 72 20 64 20  =timeout) for d 
0580: 69 6e 20 61 72 67 73 5d 0a 20 20 20 20 65 78 63  in args].    exc
0590: 65 70 74 3a 20 70 61 73 73 0a 0a 0a 23 20 70 72  ept: pass...# pr
05a0: 65 70 61 72 65 20 64 65 66 61 75 6c 74 20 71 75  epare default qu
05b0: 65 72 79 20 6f 62 6a 65 63 74 0a 73 65 73 73 69  ery object.sessi
05c0: 6f 6e 20 3d 20 72 65 71 75 65 73 74 73 2e 53 65  on = requests.Se
05d0: 73 73 69 6f 6e 28 29 0a 23 20 64 65 66 61 75 6c  ssion().# defaul
05e0: 74 20 48 54 54 50 20 68 65 61 64 65 72 73 20 66  t HTTP headers f
05f0: 6f 72 20 72 65 71 75 65 73 74 73 0a 73 65 73 73  or requests.sess
0600: 69 6f 6e 2e 68 65 61 64 65 72 73 2e 75 70 64 61  ion.headers.upda
0610: 74 65 28 7b 0a 20 20 20 20 22 55 73 65 72 2d 41  te({.    "User-A
0620: 67 65 6e 74 22 3a 20 22 73 74 72 65 61 6d 74 75  gent": "streamtu
0630: 6e 65 72 32 2f 32 2e 32 20 28 58 31 31 3b 20 4c  ner2/2.2 (X11; L
0640: 69 6e 75 78 20 61 6d 64 36 34 3b 20 72 76 3a 35  inux amd64; rv:5
0650: 32 2e 30 29 20 6c 69 6b 65 20 57 69 6e 41 6d 70  2.0) like WinAmp
0660: 2f 32 2e 31 22 2c 0a 20 20 20 20 22 41 63 63 65  /2.1",.    "Acce
0670: 70 74 22 3a 20 22 2a 2f 2a 22 2c 0a 20 20 20 20  pt": "*/*",.    
0680: 22 41 63 63 65 70 74 2d 4c 61 6e 67 75 61 67 65  "Accept-Language
0690: 22 3a 20 22 65 6e 2d 55 53 2c 65 6e 2c 64 65 2c  ": "en-US,en,de,
06a0: 65 73 2c 66 72 2c 69 74 2c 2a 3b 71 3d 30 2e 31  es,fr,it,*;q=0.1
06b0: 22 2c 0a 20 20 20 20 22 41 63 63 65 70 74 2d 45  ",.    "Accept-E
06c0: 6e 63 6f 64 69 6e 67 22 3a 20 22 67 7a 69 70 2c  ncoding": "gzip,
06d0: 20 64 65 66 6c 61 74 65 22 2c 0a 20 20 20 20 22   deflate",.    "
06e0: 41 63 63 65 70 74 2d 43 68 61 72 73 65 74 22 3a  Accept-Charset":
06f0: 20 22 55 54 46 2d 38 2c 20 49 53 4f 2d 38 38 35   "UTF-8, ISO-885
0700: 39 2d 31 3b 71 3d 30 2e 35 2c 20 2a 3b 71 3d 30  9-1;q=0.5, *;q=0
0710: 2e 31 22 2c 0a 7d 29 0a 0a 0a 23 2d 2d 20 52 65  .1",.})...#-- Re
0720: 74 72 69 65 76 65 20 64 61 74 61 20 76 69 61 20  trieve data via 
0730: 48 54 54 50 0a 23 0a 23 20 20 57 65 6c 6c 2c 20  HTTP.#.#  Well, 
0740: 69 74 20 73 61 79 73 20 22 67 65 74 22 2c 20 62  it says "get", b
0750: 75 74 20 69 74 20 61 63 74 75 61 6c 6c 79 20 64  ut it actually d
0760: 6f 65 73 20 50 4f 53 54 20 61 6e 64 20 41 4a 41  oes POST and AJA
0770: 58 69 73 68 20 47 45 54 20 72 65 71 75 65 73 74  Xish GET request
0780: 73 20 74 6f 6f 2e 0a 23 0a 64 65 66 20 67 65 74  s too..#.def get
0790: 28 0a 20 20 20 20 20 20 20 75 72 6c 2c 20 70 61  (.       url, pa
07a0: 72 61 6d 73 3d 7b 7d 2c 20 72 65 66 65 72 65 72  rams={}, referer
07b0: 3d 4e 6f 6e 65 2c 20 70 6f 73 74 3d 30 2c 20 61  =None, post=0, a
07c0: 6a 61 78 3d 30 2c 20 6a 73 6f 6e 3d 30 2c 0a 20  jax=0, json=0,. 
07d0: 20 20 20 20 20 20 62 69 6e 61 72 79 3d 30 2c 20        binary=0, 
07e0: 63 6f 6e 74 65 6e 74 3d 54 72 75 65 2c 20 65 6e  content=True, en
07f0: 63 6f 64 69 6e 67 3d 4e 6f 6e 65 2c 20 76 65 72  coding=None, ver
0800: 69 66 79 3d 46 61 6c 73 65 2c 0a 20 20 20 20 20  ify=False,.     
0810: 20 20 73 74 61 74 75 73 6d 73 67 3d 4e 6f 6e 65    statusmsg=None
0820: 2c 20 74 69 6d 65 6f 75 74 3d 39 2e 32 35 2c 20  , timeout=9.25, 
0830: 71 75 69 65 74 65 72 3d 30 2c 20 61 64 64 5f 68  quieter=0, add_h
0840: 65 61 64 65 72 73 3d 7b 7d 0a 20 20 20 20 29 3a  eaders={}.    ):
0850: 0a 0a 20 20 20 20 23 20 73 74 61 74 75 73 62 61  ..    # statusba
0860: 72 20 69 6e 66 6f 0a 20 20 20 20 69 66 20 6e 6f  r info.    if no
0870: 74 20 71 75 69 65 74 65 72 3a 0a 20 20 20 20 20  t quieter:.     
0880: 20 20 20 70 72 6f 67 72 65 73 73 5f 66 65 65 64     progress_feed
0890: 62 61 63 6b 28 75 72 6c 2c 20 74 69 6d 65 6f 75  back(url, timeou
08a0: 74 3d 74 69 6d 65 6f 75 74 2f 31 2e 35 29 0a 20  t=timeout/1.5). 
08b0: 20 20 20 0a 20 20 20 20 23 20 63 6f 6d 62 69 6e     .    # combin
08c0: 65 20 68 65 61 64 65 72 73 0a 20 20 20 20 68 65  e headers.    he
08d0: 61 64 65 72 73 20 3d 20 7b 7d 0a 20 20 20 20 68  aders = {}.    h
08e0: 65 61 64 65 72 73 2e 75 70 64 61 74 65 28 61 64  eaders.update(ad
08f0: 64 5f 68 65 61 64 65 72 73 29 0a 20 20 20 20 69  d_headers).    i
0900: 66 20 61 6a 61 78 3a 0a 20 20 20 20 20 20 20 20  f ajax:.        
0910: 68 65 61 64 65 72 73 5b 22 58 2d 52 65 71 75 65  headers["X-Reque
0920: 73 74 65 64 2d 57 69 74 68 22 5d 20 3d 20 22 58  sted-With"] = "X
0930: 4d 4c 48 74 74 70 52 65 71 75 65 73 74 22 0a 20  MLHttpRequest". 
0940: 20 20 20 69 66 20 72 65 66 65 72 65 72 3a 0a 20     if referer:. 
0950: 20 20 20 20 20 20 20 68 65 61 64 65 72 73 5b 22         headers["
0960: 52 65 66 65 72 65 72 22 5d 20 3d 20 28 72 65 66  Referer"] = (ref
0970: 65 72 65 72 20 69 66 20 72 65 66 65 72 65 72 20  erer if referer 
0980: 6e 6f 74 20 69 6e 20 5b 54 72 75 65 2c 20 31 5d  not in [True, 1]
0990: 20 65 6c 73 65 20 75 72 6c 29 0a 0a 23 69 66 64   else url)..#ifd
09a0: 65 66 20 42 4c 44 5f 44 45 42 55 47 0a 23 73 72  ef BLD_DEBUG.#sr
09b0: 63 6f 75 74 20 20 20 20 72 61 69 73 65 20 45 78  cout    raise Ex
09c0: 63 65 70 74 69 6f 6e 28 22 53 69 6d 75 6c 61 74  ception("Simulat
09d0: 65 64 20 48 54 54 50 20 65 72 72 6f 72 22 29 0a  ed HTTP error").
09e0: 23 65 6e 64 69 66 0a 20 20 20 20 0a 20 20 20 20  #endif.    .    
09f0: 23 20 72 65 61 64 0a 20 20 20 20 69 66 20 70 6f  # read.    if po
0a00: 73 74 3a 0a 20 20 20 20 20 20 20 20 6c 6f 67 2e  st:.        log.
0a10: 48 54 54 50 28 22 50 4f 53 54 22 2c 20 75 72 6c  HTTP("POST", url
0a20: 2c 20 70 61 72 61 6d 73 29 0a 20 20 20 20 20 20  , params).      
0a30: 20 20 69 66 20 6a 73 6f 6e 3a 0a 20 20 20 20 20    if json:.     
0a40: 20 20 20 20 20 20 20 72 20 3d 20 73 65 73 73 69         r = sessi
0a50: 6f 6e 2e 70 6f 73 74 28 75 72 6c 2c 20 6a 73 6f  on.post(url, jso
0a60: 6e 3d 70 61 72 61 6d 73 2c 20 68 65 61 64 65 72  n=params, header
0a70: 73 3d 68 65 61 64 65 72 73 2c 20 74 69 6d 65 6f  s=headers, timeo
0a80: 75 74 3d 74 69 6d 65 6f 75 74 29 0a 20 20 20 20  ut=timeout).    
0a90: 20 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20      else:.      
0aa0: 20 20 20 20 20 20 72 20 3d 20 73 65 73 73 69 6f        r = sessio
0ab0: 6e 2e 70 6f 73 74 28 75 72 6c 2c 20 64 61 74 61  n.post(url, data
0ac0: 3d 70 61 72 61 6d 73 2c 20 68 65 61 64 65 72 73  =params, headers
0ad0: 3d 68 65 61 64 65 72 73 2c 20 74 69 6d 65 6f 75  =headers, timeou
0ae0: 74 3d 74 69 6d 65 6f 75 74 29 0a 20 20 20 20 65  t=timeout).    e
0af0: 6c 73 65 3a 20 20 20 20 0a 20 20 20 20 20 20 20  lse:    .       
0b00: 20 6c 6f 67 2e 48 54 54 50 28 22 47 45 54 22 2b   log.HTTP("GET"+
0b10: 28 22 20 41 4a 41 58 22 20 69 66 20 61 6a 61 78  (" AJAX" if ajax
0b20: 20 65 6c 73 65 20 22 22 29 2c 20 75 72 6c 2c 20   else ""), url, 
0b30: 70 61 72 61 6d 73 20 29 0a 20 20 20 20 20 20 20  params ).       
0b40: 20 72 20 3d 20 73 65 73 73 69 6f 6e 2e 67 65 74   r = session.get
0b50: 28 75 72 6c 2c 20 70 61 72 61 6d 73 3d 70 61 72  (url, params=par
0b60: 61 6d 73 2c 20 68 65 61 64 65 72 73 3d 68 65 61  ams, headers=hea
0b70: 64 65 72 73 2c 20 76 65 72 69 66 79 3d 76 65 72  ders, verify=ver
0b80: 69 66 79 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d  ify, timeout=tim
0b90: 65 6f 75 74 29 0a 0a 20 20 20 20 69 66 20 6e 6f  eout)..    if no
0ba0: 74 20 71 75 69 65 74 65 72 3a 0a 20 20 20 20 20  t quieter:.     
0bb0: 20 20 20 6c 6f 67 2e 48 54 54 50 28 22 3e 3e 3e     log.HTTP(">>>
0bc0: 22 2c 20 72 2e 72 65 71 75 65 73 74 2e 68 65 61  ", r.request.hea
0bd0: 64 65 72 73 20 29 3b 0a 20 20 20 20 20 20 20 20  ders );.        
0be0: 6c 6f 67 2e 48 54 54 50 28 22 3c 3c 3c 22 2c 20  log.HTTP("<<<", 
0bf0: 72 2e 68 65 61 64 65 72 73 20 29 3b 0a 20 20 20  r.headers );.   
0c00: 20 0a 20 20 20 20 23 20 65 72 72 3f 0a 20 20 20   .    # err?.   
0c10: 20 69 66 20 72 2e 73 74 61 74 75 73 5f 63 6f 64   if r.status_cod
0c20: 65 20 21 3d 20 32 30 30 3a 0a 20 20 20 20 20 20  e != 200:.      
0c30: 20 20 6c 6f 67 2e 45 52 52 28 22 48 54 54 50 20    log.ERR("HTTP 
0c40: 53 74 61 74 75 73 22 2c 20 72 2e 73 74 61 74 75  Status", r.statu
0c50: 73 5f 63 6f 64 65 2c 20 72 2e 72 65 61 73 6f 6e  s_code, r.reason
0c60: 29 0a 20 20 20 20 20 20 20 20 6c 6f 67 2e 49 4e  ).        log.IN
0c70: 46 4f 28 72 2e 63 6f 6e 74 65 6e 74 29 0a 20 20  FO(r.content).  
0c80: 20 20 20 20 20 20 70 72 6f 67 72 65 73 73 5f 66        progress_f
0c90: 65 65 64 62 61 63 6b 28 22 4e 6f 20 64 61 74 61  eedback("No data
0ca0: 20 72 65 63 65 69 76 65 64 20 28 7b 7d 20 2d 20   received ({} - 
0cb0: 7b 7d 29 20 66 72 6f 6d 20 63 68 61 6e 6e 65 6c  {}) from channel
0cc0: 22 2e 66 6f 72 6d 61 74 28 72 2e 73 74 61 74 75  ".format(r.statu
0cd0: 73 5f 63 6f 64 65 2c 20 72 2e 72 65 61 73 6f 6e  s_code, r.reason
0ce0: 29 29 0a 20 20 20 20 20 20 20 20 72 65 74 75 72  )).        retur
0cf0: 6e 20 22 22 0a 20 20 20 20 23 20 72 65 73 75 6c  n "".    # resul
0d00: 74 0a 20 20 20 20 6c 6f 67 2e 49 4e 46 4f 28 22  t.    log.INFO("
0d10: 53 74 61 74 75 73 22 2c 20 72 2e 73 74 61 74 75  Status", r.statu
0d20: 73 5f 63 6f 64 65 20 29 0a 20 20 20 20 6c 6f 67  s_code ).    log
0d30: 2e 49 4e 46 4f 28 22 43 6f 6e 74 65 6e 74 2d 4c  .INFO("Content-L
0d40: 65 6e 67 74 68 22 2c 20 6c 65 6e 28 72 2e 63 6f  ength", len(r.co
0d50: 6e 74 65 6e 74 29 20 29 0a 20 20 20 20 73 74 61  ntent) ).    sta
0d60: 74 75 73 6d 73 67 20 61 6e 64 20 70 72 6f 67 72  tusmsg and progr
0d70: 65 73 73 5f 66 65 65 64 62 61 63 6b 28 73 74 61  ess_feedback(sta
0d80: 74 75 73 6d 73 67 29 0a 20 20 20 20 69 66 20 6e  tusmsg).    if n
0d90: 6f 74 20 63 6f 6e 74 65 6e 74 3a 0a 20 20 20 20  ot content:.    
0da0: 20 20 20 20 72 65 74 75 72 6e 20 72 0a 20 20 20      return r.   
0db0: 20 65 6c 69 66 20 62 69 6e 61 72 79 3a 0a 20 20   elif binary:.  
0dc0: 20 20 20 20 20 20 72 20 3d 20 72 2e 63 6f 6e 74        r = r.cont
0dd0: 65 6e 74 0a 20 20 20 20 65 6c 73 65 3a 0a 20 20  ent.    else:.  
0de0: 20 20 20 20 20 20 23 20 4d 61 6e 75 61 6c 6c 79        # Manually
0df0: 20 64 65 63 6f 64 65 20 63 68 61 72 73 65 74 0a   decode charset.
0e00: 20 20 20 20 20 20 20 20 69 66 20 65 6e 63 6f 64          if encod
0e10: 69 6e 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20  ing:.           
0e20: 20 72 2e 65 6e 63 6f 64 69 6e 67 20 3d 20 65 6e   r.encoding = en
0e30: 63 6f 64 69 6e 67 0a 20 20 20 20 20 20 20 20 20  coding.         
0e40: 20 20 20 72 20 3d 20 72 2e 63 6f 6e 74 65 6e 74     r = r.content
0e50: 2e 64 65 63 6f 64 65 28 65 6e 63 6f 64 69 6e 67  .decode(encoding
0e60: 2c 20 65 72 72 6f 72 73 3d 27 72 65 70 6c 61 63  , errors='replac
0e70: 65 27 29 0a 20 20 20 20 20 20 20 20 23 20 53 65  e').        # Se
0e80: 65 20 72 65 71 75 65 73 74 73 20 69 73 73 65 20  e requests isse 
0e90: 23 32 33 35 39 2c 20 61 75 74 6f 6d 61 74 69 63  #2359, automatic
0ea0: 20 63 68 61 72 73 65 74 20 64 65 74 65 63 74 69   charset detecti
0eb0: 6f 6e 20 63 61 6e 20 62 65 20 61 77 66 75 6c 6c  on can be awfull
0ec0: 79 20 73 6c 6f 77 0a 20 20 20 20 20 20 20 20 65  y slow.        e
0ed0: 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20  lse:.           
0ee0: 20 72 20 3d 20 72 2e 74 65 78 74 0a 20 20 20 20   r = r.text.    
0ef0: 23 20 63 6c 65 61 6e 20 73 74 61 74 75 73 62 61  # clean statusba
0f00: 72 0a 20 20 20 20 73 74 61 74 75 73 6d 73 67 20  r.    statusmsg 
0f10: 61 6e 64 20 70 72 6f 67 72 65 73 73 5f 66 65 65  and progress_fee
0f20: 64 62 61 63 6b 28 29 0a 20 20 20 20 72 65 74 75  dback().    retu
0f30: 72 6e 20 72 0a 0a 0a 23 2d 2d 20 41 70 70 65 6e  rn r...#-- Appen
0f40: 64 20 6d 69 73 73 69 6e 67 20 74 72 61 69 6c 69  d missing traili
0f50: 6e 67 20 73 6c 61 73 68 20 74 6f 20 55 52 4c 73  ng slash to URLs
0f60: 0a 64 65 66 20 66 69 78 5f 75 72 6c 28 75 72 6c  .def fix_url(url
0f70: 29 3a 0a 20 20 20 20 69 66 20 75 72 6c 20 69 73  ):.    if url is
0f80: 20 4e 6f 6e 65 3a 0a 20 20 20 20 20 20 20 20 75   None:.        u
0f90: 72 6c 20 3d 20 22 22 0a 20 20 20 20 69 66 20 6c  rl = "".    if l
0fa0: 65 6e 28 75 72 6c 29 3a 0a 20 20 20 20 20 20 20  en(url):.       
0fb0: 20 23 20 72 65 6d 6f 76 65 20 77 68 69 74 65 73   # remove whites
0fc0: 70 61 63 65 0a 20 20 20 20 20 20 20 20 75 72 6c  pace.        url
0fd0: 20 3d 20 75 72 6c 2e 73 74 72 69 70 28 29 0a 20   = url.strip(). 
0fe0: 20 20 20 20 20 20 20 23 20 61 64 64 20 73 63 68         # add sch
0ff0: 65 6d 65 0a 20 20 20 20 20 20 20 20 69 66 20 28  eme.        if (
1000: 75 72 6c 2e 66 69 6e 64 28 22 3a 2f 2f 22 29 20  url.find("://") 
1010: 3c 20 30 29 3a 0a 20 20 20 20 20 20 20 20 20 20  < 0):.          
1020: 20 20 75 72 6c 20 3d 20 22 68 74 74 70 3a 2f 2f    url = "http://
1030: 22 20 2b 20 75 72 6c 0a 20 20 20 20 20 20 20 20  " + url.        
1040: 23 20 61 64 64 20 6d 61 6e 64 61 74 6f 72 79 20  # add mandatory 
1050: 70 61 74 68 0a 20 20 20 20 20 20 20 20 69 66 20  path.        if 
1060: 28 75 72 6c 2e 66 69 6e 64 28 22 2f 22 2c 20 31  (url.find("/", 1
1070: 30 29 20 3c 20 30 29 3a 0a 20 20 20 20 20 20 20  0) < 0):.       
1080: 20 20 20 20 20 75 72 6c 20 3d 20 75 72 6c 20 2b       url = url +
1090: 20 22 2f 22 0a 20 20 20 20 72 65 74 75 72 6e 20   "/".    return 
10a0: 75 72 6c 0a 0a                                   url..