]> ruin.nu Git - ndwebbie.git/blobdiff - scripts/scans.pl
Use new race infrastructure for members stats
[ndwebbie.git] / scripts / scans.pl
index 185c76c858f3733c9bd2c279b63a3eb2b1cdc3f3..89dd92c787f18424fc2fe7d7994c0d2aa4aa55aa 100755 (executable)
 use strict;
 use warnings;
 no warnings 'exiting';
+use local::lib;
+use Sys::RunAlone;
 use CGI;
 use DBI;
 use DBD::Pg qw(:pg_types);
-use LWP::Simple;
+
+use LWP::Simple qw/get $ua/;
+$ua->agent("Stupid user agent check is stupid");
 
 use FindBin;
 use lib "$FindBin::Bin/../lib";
 
 use ND::DB;
+use NDWeb::Scans;
 
 our $dbh = ND::DB::DB();
 
@@ -38,7 +43,6 @@ our $dbh = ND::DB::DB();
 
 #my $test = $dbh->prepare(q{INSERT INTO scans (tick,scan_id) VALUES(1,3) RETURNING id});
 #print ;
-$dbh->do(q{SET CLIENT_ENCODING TO 'LATIN1';});
 
 my $scangroups = $dbh->prepare(q{SELECT id,scan_id,tick,uid FROM scans
        WHERE groupscan AND NOT parsed FOR UPDATE
@@ -81,31 +85,11 @@ my $addintel = $dbh->prepare(q{INSERT INTO intel (name,mission,sender,target,tic
        VALUES(?,?,?,?,?,?,?,?,?,-1) RETURNING id});
 my $intelscan = $dbh->prepare(q{INSERT INTO intel_scans (intel,id) VALUES(?,?)});
 my $addships = $dbh->prepare(q{INSERT INTO fleet_ships (fid,ship,amount) VALUES(?,?,?)});
-my $addplanetscan = $dbh->prepare(q{INSERT INTO planet_scans
-       (id,tick,pid,metal_roids,metal,crystal_roids,crystal,eonium_roids,eonium
-               ,agents,guards,light,medium,heavy,hidden)
-       VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)});
 
 sub parse_planet {
        my ($scan,$file) = @_;
 
-       my @values = ($scan->{id},$scan->{tick},$scan->{pid});
-       $file =~ s/(\d),(\d)/$1$2/g;
-
-       while($file =~ m{"center">(Metal|Crystal|Eonium)</td>\D+(\d+)\D+([\d,]+)}g){
-               push @values,$2,$3;
-       }
-       if($file =~ m{Security\ Guards .+? "center">(\d+)</td>
-                       .+? "center">(\d+)</td>}sx){
-               push @values,$1,$2;
-       }
-       if($file =~ m{<td class="center">([A-Z][a-z]+)</td><td class="center">([A-Z][a-z]+)</td><td class="center">([A-Z][a-z]+)</td>}){
-               push @values,$1,$2,$3;
-       }
-       if($file =~ m{<span class="superhighlight">([\d,]+)</span>}){
-               push @values,$1;
-       }
-       $addplanetscan->execute(@values);
+       doPlanetScan($dbh, $scan, $file);
 }
 
 sub parse_incoming {
@@ -128,7 +112,8 @@ sub parse_unit {
 sub parse_jumpgate {
        my ($scan,$file) = @_;
 
-       while ($file =~ m{(\d+):(\d+):(\d+)\D+(Attack|Defend|Return)</td><td class="left">([^<]*)\D+(\d+)\D+(\d+)}g){
+       $file =~ s/,//g;
+       while ($file =~ m{(\d+):(\d+):(\d+)(?::\d+)?\D+(Attack|Defend|Return)</td><td class="left">([^<]*)\D+(\d+)\D+(\d+)}g){
                my ($sender) = $dbh->selectrow_array($findplanet,undef,$1,$2,$3,$scan->{tick});
                ($sender) = $dbh->selectrow_array($findoldplanet,undef,$1,$2,$3,$scan->{tick})
                        if ((not defined $sender) && $4 eq 'Return');
@@ -139,11 +124,17 @@ sub parse_jumpgate {
 
 }
 
+sub parse_military {
+       my ($scan,$file) = @_;
+
+       doMilScan($dbh, $scan, $file);
+}
+
 my $adddevscan = $dbh->prepare(q{INSERT INTO development_scans
        (id,tick,pid,light_fac,medium_fac,heavy_fac,amps,distorters
-               ,metal_ref,crystal_ref,eonium_ref,reslabs,fincents,seccents
-               ,travel,infra,hulls,waves,extraction,covert,mining,total)
-       VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)
+               ,metal_ref,crystal_ref,eonium_ref,reslabs,fincents,milcents,seccents,structdefs
+               ,travel,infra,hulls,waves,extraction,covert,mining,population,total)
+       VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)
        });
 
 
@@ -153,6 +144,7 @@ my %parsers = (
        Unit => \&parse_unit,
        'Advanced Unit' => \&parse_unit,
        Jumpgate => \&parse_jumpgate,
+       Military => \&parse_military,
 );
 
 
@@ -203,26 +195,26 @@ while (my $scan = $newscans->fetchrow_hashref){
                if (exists $parsers{$type}){
                        $parsers{$type}->($scan,$file);
                }elsif ($type eq 'News'){
-                       while( $file =~ m{top">((?:\w| )+)\D+(\d+)</td><td class="left" valign="top">(.+?)</td></tr>}g){
+                       while( $file =~ m{top;">((?:\w| )+)\D+(\d+)</td><td class="left" style="vertical-align: top;">(.+?)</td></tr>}g){
                                my $news = $1;
                                my $t = $2;
                                my $text = $3;
                                my ($x,$y,$z) = $dbh->selectrow_array($findcoords,undef,$planet,$t);
                                die "No coords for: $planet tick $t" unless defined $x;
-                               if($news eq 'Launch' && $text =~ m/The (.*?) fleet has been launched, heading for (\d+):(\d+):(\d+), on a mission to (Attack|Defend). Arrival tick: (\d+)/g){
+                               if(($news eq 'Defend' || $news eq 'Attack' || $news eq 'Launch') && $text =~ m{The (.*?) fleet has been launched, heading for <a class="coords" href="galaxy.pl\?x=\d+&amp;y=\d+">(\d+):(\d+):(\d+)</a>, on a mission to (Attack|Defend). Arrival tick: (\d+)}g){
                                        my $eta = $6 - $t;
                                        my $mission = $5;
                                        my $back = $6 + $eta;
                                        $mission = 'AllyDef' if $eta == 6 && $x != $2;
                                        my ($target) = $dbh->selectrow_array($findplanet,undef
                                                ,$2,$3,$4,$t) or die $dbh->errstr;
-                                       die "No target: $2:$3:$4" unless defined $target;
+                                       next unless defined $target;
                                        my $id = addintel($1,$mission,$planet,$target,$6
                                                ,$eta,$back,undef, ($x == $2 && $y == $3));
                                        $intelscan->execute($id,$scan->{id});
-                               }elsif($news eq 'Incoming' && $text =~ m/We have detected an open jumpgate from (.*?), located at (\d+):(\d+):(\d+). The fleet will approach our system in tick (\d+) and appears to have roughly (\d+) ships/g){
+                               }elsif($news eq 'Hostile' && $text =~ m{We have detected an open jumpgate from (.*?), located at <a class="coords" href="galaxy.pl\?x=\d+&amp;y=\d+">(\d+):(\d+):(\d+)</a>. The fleet will approach our system in tick (\d+) and appears to have (\d+) visible ships}g){
                                        my $eta = $5 - $t;
-                                       my $mission = '';
+                                       my $mission = 'Attack';
                                        my $back = $5 + $eta;
                                        $mission = 'Defend' if $eta <= 6;
                                        $mission = 'AllyDef' if $eta == 6 && $x != $2;
@@ -239,7 +231,7 @@ while (my $scan = $newscans->fetchrow_hashref){
                        my $total = 0;
                        while($file =~ m{((?:[a-zA-Z]| )+)</t[dh]><td(?: class="right")?>(\d+)}sg){
                                push @values,$2;
-                               $total += $2 if $#values <= 13;
+                               $total += $2 if $#values <= 15;
                        }
                        push @values,$total;
                        $adddevscan->execute(@values);
@@ -271,6 +263,7 @@ sub addfleet {
 
        my @ships;
        my $total = 0;
+       $ships =~ s/,//g;
        while(defined $ships && $ships =~ m{((?:[a-zA-Z]| )+)</td><td(?: class="right")?>(\d+)}sg){
                $total += $2;
                push @ships, [$1,$2];
@@ -302,3 +295,5 @@ sub addintel {
                ,$target,$tick, $eta, $back, $amount,$ingal);
        return $id;
 }
+
+__END__