Stroustrupได้โพสต์เมื่อเร็ว ๆ นี้ชุดของการโพสต์ debunking ตำนานยอดนิยมเกี่ยวกับ C ++ ตำนานที่ห้าคือ:“ C ++ สำหรับโปรแกรมขนาดใหญ่ซับซ้อนเท่านั้น” เพื่อทำการ debunk มันเขาเขียนโปรแกรม C ++ ที่ง่าย ๆ ในการดาวน์โหลดเว็บเพจและแยกลิงค์ออกมา นี่มันคือ:

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

มาแสดง Stroustrup ว่าโปรแกรมขนาดเล็กและอ่านง่ายคืออะไร

1. ดาวน์โหลด http://www.stroustrup.com/C++.html

2. แสดงรายการลิงก์ทั้งหมด:

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

คุณสามารถใช้ภาษาใดก็ได้ แต่ไม่อนุญาตให้ใช้ห้องสมุดบุคคลที่สาม

ผู้ชนะ

คำตอบ C ++ชนะโดยการโหวต แต่ขึ้นอยู่กับห้องสมุดกึ่งบุคคลที่สาม (ซึ่งไม่ได้รับอนุญาตตามกฎ) และพร้อมกับคู่แข่งที่ใกล้ชิดคนอื่น ๆทุบตีอาศัย HTTP ที่ถูกแฮ็กเข้าด้วยกันไคลเอนต์ HTTP (จะไม่ทำงานกับ HTTPS) gzip, การเปลี่ยนเส้นทางเป็นต้น) ดังนั้นWolframจึงเป็นผู้ชนะที่ชัดเจน อีกวิธีที่ใกล้เคียงกับขนาดและความสามารถในการอ่านคือPowerShell (พร้อมการปรับปรุงจากความคิดเห็น) แต่ก็ไม่ได้รับความสนใจมากนัก ภาษาหลัก ( Python , C # ) ก็เข้ามาใกล้เช่นกัน

วุลแฟรม

รู้สึกเหมือนโกงอย่างสมบูรณ์

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

ดังนั้นเพียงแค่เพิ่มการแยกวิเคราะห์ที่ซื่อสัตย์อยู่ด้านบน

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

ข้อบกพร่องหลักคือลักษณะของการกระตุ้น :: asio ฉันแน่ใจว่ามันจะสั้นลงด้วยห้องสมุดที่ดีกว่า

Pure Bash บน Linux / OS X (ไม่มียูทิลิตี้ภายนอก)

ซอฟต์แวร์ไคลเอนต์ HTTP มีการปูดอย่างฉาวโฉ่ เราไม่ต้องการการพึ่งพาเหล่านั้น แต่เราสามารถดันส่วนหัวที่เหมาะสมลงในกระแสข้อมูล TCP และอ่านผลลัพธ์ ไม่จำเป็นต้องเรียกโปรแกรมอรรถประโยชน์ที่ล้าสมัยเช่น grep หรือ sed เพื่อแยกวิเคราะห์ผลลัพธ์

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Meh - ฉันคิดว่ามันอ่านง่ายกว่า ...

Python 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

อ่อนแอ แต่ใช้งานได้

C #

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

"ไม่มีบุคคลที่สาม" คือการเข้าใจผิด

ฉันคิดว่า "ไม่มีบุคคลที่สาม" เป็นข้อผิดพลาด และเป็นข้อผิดพลาดที่เฉพาะเจาะจงที่ทำให้นักพัฒนา C ++ เดือดร้อนเนื่องจากเป็นการยากที่จะสร้างรหัสที่สามารถใช้ซ้ำได้ใน C ++ เมื่อคุณพัฒนาอะไรเลยแม้ว่ามันจะเป็นสคริปต์เล็ก ๆ คุณก็จะใช้ประโยชน์จากโค้ดที่สามารถนำกลับมาใช้ใหม่ได้เสมอ

สิ่งที่เป็นในภาษาเช่น Perl, Python, Ruby (เพื่อชื่อไม่กี่) การใช้รหัสของคนอื่นไม่เพียง แต่ง่าย แต่มันเป็นวิธีที่คนส่วนใหญ่เขียนรหัสจริงเวลาส่วนใหญ่

C ++ ที่แทบจะเป็นไปไม่ได้ที่จะดูแลรักษาข้อกำหนดของ ABI ทำให้การทำงานยากขึ้นคุณจบลงด้วยโปรเจคอย่าง Boost ซึ่งเป็นที่เก็บรหัสที่ใหญ่โต

ตัวอย่าง CPAN

เพียงเพื่อความสนุกของมันนี่คือตัวอย่างที่ใช้ CPAN พร้อมกับการแยกวิเคราะห์ html ที่เหมาะสมแทนที่จะพยายามใช้ regex ในการแยกวิเคราะห์ html

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

เชลล์ UNIX

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

พบftp://ลิงก์ด้วย :)

อีกวิธีหนึ่งโดยไม่ต้องอาศัย://ไวยากรณ์:

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

รหัสนี้สามารถใช้เป็นสไตล์ผู้ใช้เพื่อแสดงเฉพาะลิงค์แบบสัมบูรณ์บนหน้าในรายการที่ไม่ได้จัดรูปแบบ อาจทำงานไม่ถูกต้องหากเบราว์เซอร์ของคุณบังคับใช้ขนาดแบบอักษรขั้นต่ำ

มันทำงานได้อย่างถูกต้องกับhttp://www.stroustrup.com/C++.html(หมายเหตุ!importantในbackground) ในการทำงานกับเพจอื่นที่มีสไตล์มากขึ้นจะต้องมีการขยาย (รีเซ็ตคุณสมบัติเพิ่มเติมทำเครื่องหมายคุณสมบัติเป็นสิ่งสำคัญเป็นต้น)

รุ่นทางเลือกซึ่งรวมถึงลิงก์ที่เกี่ยวข้องยกเว้นลิงก์ Intrapage ที่เริ่มต้นด้วยแฮช

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

Clojure

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

Emacs Lisp

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

สกาล่า

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

PowerShell

ค้นหาข้อความสำหรับURL ที่ผ่านการรับรองทั้งหมด(รวมถึง JavaScript, CSS และอื่น ๆ ):

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

หรือเพื่อรับลิงค์ในแท็ก anchor เท่านั้น (รวม URL ที่เกี่ยวข้อง):

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

รุ่นที่สั้นกว่าจากความคิดเห็น:

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

D

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

ทับทิม

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

Haskell

ปัญหาบางอย่าง"\w"ในใน Text.Regex.Posix

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

เท่าที่ฉันจะบอกได้การติดตั้ง PHP ที่ทันสมัยส่วนใหญ่จะมาพร้อมกับการประมวลผล DOM ดังนั้นนี่คือการติดตั้งจุดยึดภายใน HTML:

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

วงด้านในอาจสั้นลงเป็น:

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

Unix Shell

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

แม้ว่าฉันต้องยอมรับว่ามันไม่ได้ผลหากมีลิงค์มากกว่าหนึ่งลิงก์ในหนึ่งบรรทัด

ชวา

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

Groovy

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL (SQL ที่ใดก็ได้ 16)

กำหนดขั้นตอนการจัดเก็บเพื่อดึงหน้าเว็บ

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

สร้างชุดผลลัพธ์โดยใช้แบบสอบถามเดียว

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

ข้อ จำกัด : สามารถสร้างลิงค์ได้สูงสุด 256 ลิงค์ หากมีลิงค์เพิ่มเติมให้ชน 256 กับค่าที่เหมาะสม

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

Perl

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

R

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... ถึงแม้ว่า R จะเขียนเป็นภาษา C เป็นหลักดังนั้นอาจมีโค้ด C สองสามบรรทัดที่อยู่ด้านหลังโค้ด R สองบรรทัด

Objective-C

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

ไป

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

PSรหัสนี้อ่านแหล่งที่มาทั้งหมดลงในหน่วยความจำดังนั้นให้พิจารณาใช้regexp.FindReaderIndexเพื่อค้นหาในสตรีมซึ่งจะทำให้แอปกันกระสุน

CJam

CJam ไม่มี regex ดังนั้นฉันต้องใช้วิธีที่แตกต่างในอันนี้:

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

ครั้งแรกที่ผมแปลง'ไป"แล้วฉันแยกในทุก"ใช้สตริงทุกทางเลือกและแล้วในที่สุดกรองรายชื่อที่สำหรับสตริงเริ่มต้นด้วยหรือhttp:// https://หลังจากนั้นให้พิมพ์แต่ละสตริงที่กรองในบรรทัดใหม่

ลองใช้โดยใช้ล่าม Javaเช่น

java -jar cjam-0.6.2.jar file.cjam

โดยที่ file.cjam มีเนื้อหาของรหัสด้านบน

F #

รหัสนี้อาจสั้นกว่านี้มาก แต่ฉันจะเขียนแบบนี้ถ้าฉันคาดว่าจะต้องอ่านหรือใช้รหัสนี้อีกครั้งดังนั้นจึงมีคำอธิบายประกอบประเภทที่ไม่จำเป็นจำนวนมาก มันแสดงให้เห็นถึงการใช้รูปแบบการใช้งานMatchValueเพื่อเปิดใช้งานรูปแบบจับคู่กับมาตรฐานประเภท CLR Match

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

แก้ไข ฉันทำ getLinks ฟังก์ชั่นของตัวเอง