PoshCode Archive  Hex Artifact Content

Artifact 795d1c43353107d1a09e89cf68f0165b1f6dfaff67277b7339c6e9593c3d03f6:

  • File Sample-MultiThreading.ps1 — part of check-in [5730834196] at 2018-06-10 14:20:13 on branch trunk — An example of multi threading in powershell (user: Autom8 size: 2619)

0000: 23 20 65 6e 63 6f 64 69 6e 67 3a 20 61 73 63 69  # encoding: asci
0010: 69 0d 0a 23 20 61 70 69 3a 20 70 6f 77 65 72 73  i..# api: powers
0020: 68 65 6c 6c 0d 0a 23 20 74 69 74 6c 65 3a 20 53  hell..# title: S
0030: 61 6d 70 6c 65 20 4d 75 6c 74 69 54 68 72 65 61  ample MultiThrea
0040: 64 69 6e 67 0d 0a 23 20 64 65 73 63 72 69 70 74  ding..# descript
0050: 69 6f 6e 3a 20 41 6e 20 65 78 61 6d 70 6c 65 20  ion: An example 
0060: 6f 66 20 6d 75 6c 74 69 20 74 68 72 65 61 64 69  of multi threadi
0070: 6e 67 20 69 6e 20 70 6f 77 65 72 73 68 65 6c 6c  ng in powershell
0080: 0d 0a 23 20 76 65 72 73 69 6f 6e 3a 20 31 37 32  ..# version: 172
0090: 2e 31 36 2e 31 0d 0a 23 20 74 79 70 65 3a 20 66  .16.1..# type: f
00a0: 75 6e 63 74 69 6f 6e 0d 0a 23 20 61 75 74 68 6f  unction..# autho
00b0: 72 3a 20 41 75 74 6f 6d 38 0d 0a 23 20 6c 69 63  r: Autom8..# lic
00c0: 65 6e 73 65 3a 20 43 43 30 0d 0a 23 20 78 2d 70  ense: CC0..# x-p
00d0: 6f 73 68 63 6f 64 65 2d 69 64 3a 20 36 37 33 39  oshcode-id: 6739
00e0: 0d 0a 23 20 78 2d 61 72 63 68 69 76 65 64 3a 20  ..# x-archived: 
00f0: 32 30 31 37 2d 30 35 2d 31 31 54 31 34 3a 34 32  2017-05-11T14:42
0100: 3a 31 31 0d 0a 23 20 78 2d 70 75 62 6c 69 73 68  :11..# x-publish
0110: 65 64 3a 20 32 30 31 37 2d 30 32 2d 31 39 54 30  ed: 2017-02-19T0
0120: 32 3a 34 38 3a 30 30 0d 0a 23 0d 0a 23 0d 0a 23  2:48:00..#..#..#
0130: 4d 61 6b 65 20 6e 65 77 20 43 53 56 20 46 69 6c  Make new CSV Fil
0140: 65 0d 0a 24 43 53 56 46 69 6c 65 4e 61 6d 65 20  e..$CSVFileName 
0150: 3d 20 22 5c 5c 6e 65 74 77 6f 72 6b 73 68 61 72  = "\\networkshar
0160: 65 5c 66 6f 6c 64 65 72 5c 66 69 6c 65 6e 61 6d  e\folder\filenam
0170: 65 2e 63 73 76 22 0d 0a 22 43 53 56 2c 48 65 61  e.csv".."CSV,Hea
0180: 64 65 72 2c 57 69 74 68 2c 57 65 6c 6c 2c 4e 61  der,With,Well,Na
0190: 6d 65 64 2c 44 61 74 61 2c 43 6f 6c 75 6d 6e 73  med,Data,Columns
01a0: 22 20 3e 20 24 43 53 56 46 69 6c 65 4e 61 6d 65  " > $CSVFileName
01b0: 0d 0a 0d 0a 24 54 69 6d 65 73 74 61 6d 70 20 3d  ....$Timestamp =
01c0: 20 67 65 74 2d 64 61 74 65 20 2d 66 6f 72 6d 61   get-date -forma
01d0: 74 20 6f 20 0d 0a 0d 0a 23 4c 6f 67 20 66 69 6c  t o ....#Log fil
01e0: 65 0d 0a 24 4c 6f 67 46 69 6c 65 4e 61 6d 65 20  e..$LogFileName 
01f0: 3d 20 22 5c 5c 6e 65 74 77 6f 72 6b 73 68 61 72  = "\\networkshar
0200: 65 5c 66 6f 6c 64 65 72 5c 6c 6f 67 66 69 6c 65  e\folder\logfile
0210: 5f 24 54 69 6d 65 73 74 61 6d 70 2e 6c 6f 67 22  _$Timestamp.log"
0220: 0d 0a 0d 0a 23 46 75 6e 63 74 69 6f 6e 20 74 6f  ....#Function to
0230: 20 64 6f 20 73 74 75 66 66 20 77 69 74 68 20 49   do stuff with I
0240: 50 20 61 64 64 72 65 73 73 0d 0a 24 53 6f 6d 65  P address..$Some
0250: 46 75 6e 63 74 69 6f 6e 20 3d 20 7b 0d 0a 09 70  Function = {...p
0260: 61 72 61 6d 28 24 49 50 41 64 64 72 65 73 73 2c  aram($IPAddress,
0270: 24 43 53 56 46 69 6c 65 4e 61 6d 65 2c 24 4c 6f  $CSVFileName,$Lo
0280: 67 46 69 6c 65 4e 61 6d 65 29 0d 0a 09 0d 0a 20  gFileName)..... 
0290: 20 20 20 23 64 6f 20 73 74 75 66 66 20 77 69 74     #do stuff wit
02a0: 68 20 24 49 50 41 64 64 72 65 73 73 0d 0a 0d 0a  h $IPAddress....
02b0: 20 20 20 20 23 54 6f 20 73 69 6d 75 6c 61 74 65      #To simulate
02c0: 20 73 6f 6d 65 20 61 63 74 75 61 6c 20 70 72 6f   some actual pro
02d0: 63 65 73 73 69 6e 67 0d 0a 20 20 20 20 53 6c 65  cessing..    Sle
02e0: 65 70 20 2d 73 20 31 0d 0a 20 20 20 20 0d 0a 20  ep -s 1..    .. 
02f0: 20 20 20 23 66 6f 72 6d 61 74 20 6f 75 74 70 75     #format outpu
0300: 74 20 66 6f 72 20 43 53 56 20 66 69 6c 65 0d 0a  t for CSV file..
0310: 20 20 20 20 24 43 53 56 4f 75 74 70 75 74 20 3d      $CSVOutput =
0320: 20 22 48 65 6c 6c 6f 2c 24 49 50 41 64 64 72 65   "Hello,$IPAddre
0330: 73 73 2c 4d 79 2c 4e 61 6d 65 2c 49 73 2c 4d 72  ss,My,Name,Is,Mr
0340: 2c 42 65 61 6e 22 0d 0a 20 20 20 20 24 43 53 56  ,Bean"..    $CSV
0350: 4f 75 74 70 75 74 20 3e 3e 20 24 43 53 56 46 69  Output >> $CSVFi
0360: 6c 65 4e 61 6d 65 0d 0a 0d 0a 20 20 20 20 23 61  leName....    #a
0370: 6c 77 61 79 73 20 6f 75 74 70 75 74 20 61 6e 79  lways output any
0380: 20 65 72 72 6f 72 73 20 74 6f 20 61 20 6c 6f 67   errors to a log
0390: 20 66 69 6c 65 0d 0a 20 20 20 20 24 65 72 72 6f   file..    $erro
03a0: 72 20 3e 3e 20 24 4c 6f 67 46 69 6c 65 4e 61 6d  r >> $LogFileNam
03b0: 65 0d 0a 7d 0d 0a 0d 0a 23 41 72 72 61 79 20 6f  e..}....#Array o
03c0: 66 20 73 75 62 6e 65 74 73 20 69 6e 20 6f 75 72  f subnets in our
03d0: 20 6e 65 74 77 6f 72 6b 0d 0a 24 53 75 62 6e 65   network..$Subne
03e0: 74 73 20 3d 20 40 28 22 31 39 32 2e 31 36 38 2e  ts = @("192.168.
03f0: 31 2e 22 2c 22 31 39 32 2e 31 36 38 2e 32 2e 22  1.","192.168.2."
0400: 2c 22 31 37 32 2e 31 36 2e 31 2e 22 29 0d 0a 0d  ,"172.16.1.")...
0410: 0a 23 41 72 72 61 79 20 77 69 6c 6c 20 75 73 65  .#Array will use
0420: 20 74 6f 20 73 74 6f 72 65 20 64 69 66 66 65 72   to store differ
0430: 65 6e 74 20 6e 65 74 77 6f 72 6b 73 0d 0a 24 4e  ent networks..$N
0440: 65 74 77 6f 72 6b 73 3d 40 28 29 0d 0a 0d 0a 66  etworks=@()....f
0450: 6f 72 65 61 63 68 28 24 53 75 62 6e 65 74 20 69  oreach($Subnet i
0460: 6e 20 24 53 75 62 6e 65 74 73 29 0d 0a 7b 0d 0a  n $Subnets)..{..
0470: 20 20 20 20 23 41 72 72 61 79 20 77 69 6c 6c 20      #Array will 
0480: 62 65 20 75 73 69 6e 67 20 74 6f 20 73 74 6f 72  be using to stor
0490: 65 20 49 50 20 61 64 64 72 65 73 73 65 73 20 69  e IP addresses i
04a0: 6e 20 6e 65 74 77 6f 72 6b 0d 0a 20 20 20 20 24  n network..    $
04b0: 4e 65 74 77 6f 72 6b 3d 40 28 29 0d 0a 0d 0a 20  Network=@().... 
04c0: 20 20 20 23 42 75 69 6c 64 20 61 20 6c 69 73 74     #Build a list
04d0: 20 6f 66 20 49 50 73 20 69 6e 20 74 68 61 74 20   of IPs in that 
04e0: 73 75 62 6e 65 74 0d 0a 20 20 20 20 24 49 50 73  subnet..    $IPs
04f0: 20 3d 20 31 2e 2e 32 35 34 0d 0a 20 20 20 20 0d   = 1..254..    .
0500: 0a 20 20 20 20 23 50 6f 70 75 6c 61 74 65 20 74  .    #Populate t
0510: 68 65 20 73 75 62 6e 65 74 20 77 69 74 68 20 49  he subnet with I
0520: 50 73 0d 0a 20 20 20 20 66 6f 72 65 61 63 68 28  Ps..    foreach(
0530: 24 49 50 20 69 6e 20 24 49 50 73 29 7b 24 4e 65  $IP in $IPs){$Ne
0540: 74 77 6f 72 6b 2b 3d 28 24 53 75 62 6e 65 74 20  twork+=($Subnet 
0550: 2b 20 24 49 50 29 7d 0d 0a 0d 0a 20 20 20 20 23  + $IP)}....    #
0560: 41 64 64 20 74 68 65 20 6e 65 74 77 6f 72 6b 20  Add the network 
0570: 74 6f 20 74 68 65 20 61 72 72 61 79 20 6f 66 20  to the array of 
0580: 6e 65 74 77 6f 72 6b 73 0d 0a 20 20 20 20 24 4e  networks..    $N
0590: 65 74 77 6f 72 6b 73 20 2b 3d 20 24 4e 65 74 77  etworks += $Netw
05a0: 6f 72 6b 0d 0a 7d 0d 0a 0d 0a 23 47 65 74 20 74  ork..}....#Get t
05b0: 6f 74 61 6c 20 6e 75 6d 62 65 72 20 6f 66 20 49  otal number of I
05c0: 50 20 61 64 64 72 65 73 73 65 73 0d 0a 24 4e 75  P addresses..$Nu
05d0: 6d 49 50 61 64 64 72 65 73 73 65 73 20 3d 20 30  mIPaddresses = 0
05e0: 0d 0a 66 6f 72 65 61 63 68 28 24 4e 65 74 77 6f  ..foreach($Netwo
05f0: 72 6b 20 69 6e 20 24 4e 65 74 77 6f 72 6b 73 29  rk in $Networks)
0600: 0d 0a 7b 0d 0a 20 20 20 20 66 6f 72 65 61 63 68  ..{..    foreach
0610: 28 24 49 50 20 69 6e 20 24 4e 65 74 77 6f 72 6b  ($IP in $Network
0620: 29 7b 24 4e 75 6d 49 50 61 64 64 72 65 73 73 65  ){$NumIPaddresse
0630: 73 2b 2b 7d 0d 0a 7d 0d 0a 0d 0a 23 23 23 23 20  s++}..}....#### 
0640: 4e 6f 77 20 74 68 69 73 20 69 73 20 77 68 65 72  Now this is wher
0650: 65 20 74 68 65 20 6d 75 6c 74 69 20 74 68 72 65  e the multi thre
0660: 61 64 69 6e 67 20 70 61 72 74 20 62 65 67 69 6e  ading part begin
0670: 73 20 23 23 23 23 0d 0a 0d 0a 23 52 65 73 74 72  s ####....#Restr
0680: 69 63 74 20 4e 75 6d 62 65 72 20 6f 66 20 74 68  ict Number of th
0690: 72 65 61 64 73 20 6f 72 20 79 6f 75 27 6c 6c 20  reads or you'll 
06a0: 6f 76 65 72 6c 6f 61 64 20 74 68 65 20 73 65 72  overload the ser
06b0: 76 65 72 2f 63 6f 6d 70 75 74 65 72 0d 0a 24 4e  ver/computer..$N
06c0: 75 6d 54 68 72 65 61 64 73 20 3d 20 32 30 0d 0a  umThreads = 20..
06d0: 24 54 68 72 65 61 64 73 50 72 6f 63 65 73 73 65  $ThreadsProcesse
06e0: 64 20 3d 20 30 0d 0a 0d 0a 66 6f 72 65 61 63 68  d = 0....foreach
06f0: 28 24 4e 65 74 77 6f 72 6b 20 69 6e 20 24 4e 65  ($Network in $Ne
0700: 74 77 6f 72 6b 73 29 0d 0a 7b 0d 0a 20 20 20 20  tworks)..{..    
0710: 66 6f 72 65 61 63 68 28 24 49 50 20 69 6e 20 24  foreach($IP in $
0720: 4e 65 74 77 6f 72 6b 29 0d 0a 20 20 20 20 7b 0d  Network)..    {.
0730: 0a 20 20 20 20 20 20 20 20 23 4d 61 6b 65 20 73  .        #Make s
0740: 75 72 65 20 77 65 20 64 6f 6e 27 74 20 67 6f 20  ure we don't go 
0750: 6f 76 65 72 20 6f 75 72 20 6d 61 78 69 6d 75 6d  over our maximum
0760: 20 6e 75 6d 62 65 72 20 6f 66 20 74 68 72 65 61   number of threa
0770: 64 73 20 74 6f 20 70 72 6f 63 65 73 73 20 61 74  ds to process at
0780: 20 61 6e 79 20 67 69 76 65 6e 20 74 69 6d 65 0d   any given time.
0790: 0a 20 20 20 20 20 20 20 20 24 4e 75 6d 4a 6f 62  .        $NumJob
07a0: 73 52 75 6e 6e 69 6e 67 20 3d 20 67 65 74 2d 6a  sRunning = get-j
07b0: 6f 62 20 2d 53 74 61 74 65 20 52 75 6e 6e 69 6e  ob -State Runnin
07c0: 67 0d 0a 20 20 20 20 20 20 20 20 77 68 69 6c 65  g..        while
07d0: 28 24 4e 75 6d 4a 6f 62 73 52 75 6e 6e 69 6e 67  ($NumJobsRunning
07e0: 2e 43 6f 75 6e 74 20 2d 67 65 20 24 4e 75 6d 54  .Count -ge $NumT
07f0: 68 72 65 61 64 73 29 0d 0a 20 20 20 20 20 20 20  hreads)..       
0800: 20 7b 0d 0a 20 20 20 20 20 20 20 20 20 20 20 20   {..            
0810: 23 63 68 69 6c 6c 20 6f 75 74 20 66 6f 72 20 33  #chill out for 3
0820: 30 20 73 65 63 6f 6e 64 73 2c 20 77 61 69 74 20  0 seconds, wait 
0830: 66 6f 72 20 6f 74 68 65 72 20 74 68 72 65 61 64  for other thread
0840: 73 20 74 6f 20 66 69 6e 69 73 68 0d 0a 20 20 20  s to finish..   
0850: 20 20 20 20 20 20 20 20 20 53 6c 65 65 70 20 2d           Sleep -
0860: 73 20 33 30 0d 0a 20 20 20 20 20 20 20 20 20 20  s 30..          
0870: 20 20 24 4e 75 6d 4a 6f 62 73 52 75 6e 6e 69 6e    $NumJobsRunnin
0880: 67 20 3d 20 67 65 74 2d 6a 6f 62 20 2d 53 74 61  g = get-job -Sta
0890: 74 65 20 52 75 6e 6e 69 6e 67 0d 0a 20 20 20 20  te Running..    
08a0: 20 20 20 20 7d 0d 0a 0d 0a 20 20 20 20 20 20 20      }....       
08b0: 20 23 53 74 61 72 74 20 61 20 6e 65 77 20 74 68   #Start a new th
08c0: 72 65 61 64 0d 0a 09 20 20 20 20 53 74 61 72 74  read...    Start
08d0: 2d 4a 6f 62 20 2d 53 63 72 69 70 74 42 6c 6f 63  -Job -ScriptBloc
08e0: 6b 20 24 53 6f 6d 65 46 75 6e 63 74 69 6f 6e 20  k $SomeFunction 
08f0: 2d 41 72 67 75 6d 65 6e 74 4c 69 73 74 20 24 49  -ArgumentList $I
0900: 50 2c 24 43 53 56 46 69 6c 65 4e 61 6d 65 2c 24  P,$CSVFileName,$
0910: 4c 6f 67 46 69 6c 65 4e 61 6d 65 0d 0a 20 20 20  LogFileName..   
0920: 20 20 20 20 20 24 54 68 72 65 61 64 73 50 72 6f       $ThreadsPro
0930: 63 65 73 73 65 64 2b 2b 0d 0a 20 20 20 20 20 20  cessed++..      
0940: 20 20 0d 0a 20 20 20 20 20 20 20 20 23 4c 65 74    ..        #Let
0950: 73 20 75 73 20 6b 6e 6f 77 20 68 6f 77 20 77 65  s us know how we
0960: 27 72 65 20 70 72 6f 67 72 65 73 73 69 6e 67 0d  're progressing.
0970: 0a 20 20 20 20 20 20 20 20 24 53 74 61 74 75 73  .        $Status
0980: 20 3d 20 22 24 54 68 72 65 61 64 73 50 72 6f 63   = "$ThreadsProc
0990: 65 73 73 65 64 20 6f 66 20 24 4e 75 6d 49 50 41  essed of $NumIPA
09a0: 64 64 72 65 73 73 65 73 20 74 68 72 65 61 64 73  ddresses threads
09b0: 20 70 72 6f 63 65 73 73 65 64 22 0d 0a 20 20 20   processed"..   
09c0: 20 20 20 20 20 65 63 68 6f 20 24 53 74 61 74 75       echo $Statu
09d0: 73 0d 0a 20 20 20 20 7d 0d 0a 7d 0d 0a 0d 0a 23  s..    }..}....#
09e0: 43 68 65 63 6b 20 6f 75 74 20 6f 75 72 20 66 61  Check out our fa
09f0: 6e 63 79 20 43 53 56 20 66 69 6c 65 0d 0a 24 43  ncy CSV file..$C
0a00: 53 56 44 61 74 61 20 3d 20 49 6d 70 6f 72 74 2d  SVData = Import-
0a10: 43 53 56 20 24 43 53 56 46 69 6c 65 4e 61 6d 65  CSV $CSVFileName
0a20: 0d 0a 24 43 53 56 44 61 74 61 20 7c 20 4f 75 74  ..$CSVData | Out
0a30: 2d 67 72 69 64 76 69 65 77 0d 0a                 -gridview..