กำหนดหมายเลขที่ขาดหายไปในสตรีมข้อมูล

เราได้รับกระแสของ$n-1$ตัวเลขที่แตกต่างจากจำนวนจากชุด$\left\{1,\dots,n\right\}$ }

ฉันจะกำหนดจำนวนที่ขาดหายไปด้วยอัลกอริทึมที่อ่านกระแสข้อมูลหนึ่งครั้งและใช้หน่วยความจำของบิตเท่านั้น( ล็อก2 n $O(\log_2 n)$อย่างไร

คุณรู้จักและเพราะS=n(n+1$\sum_{i=1}^n i = \frac{n(n+1)}{2}$สามารถเขียนโค้ดในO(log(n))บิตนี้สามารถทำได้ในหน่วยความจำO(logn)และในเส้นทางเดียว (เพียงหาS-currentsu$S = \frac{n(n+1)}{2}$$O(\log(n))$$O(\log n)$$S - \mathrm{currentSum}$นี้จะหายไปจำนวน)

แต่ปัญหานี้สามารถแก้ไขได้ในกรณีทั่วไป (สำหรับค่าคงที่ ): เรามีตัวเลขที่หายไปkให้หาพวกเขาทั้งหมด ในกรณีนี้แทนที่จะคำนวณเพียงผลรวมของy i , คำนวณผลรวมของ j'st power ของx iสำหรับทั้งหมด1 ≤ j ≤ k (ฉันสันนิษฐานว่าx iขาดตัวเลขและy iคือตัวเลขอินพุต):$k$$k$$y_i$$x_i$$1\le j \le k$$x_i$$y_i$

$\qquad \displaystyle \begin{align} \sum_{i=1}^k x_i &= S_1,\\ \sum_{i=1}^k x_i^2 &= S_2,\\ &\vdots \\ \sum_{i=1}^k x_i^k &= S_k \end{align}$ $\qquad (1)$

โปรดจำไว้ว่าคุณสามารถคำนวณเพียงเพราะว่าS 1 = S - ∑ y i , S 2 = ∑ i 2 - ∑ y 2 i , ...$S_1,...S_k$$S_1 = S - \sum y_i$$S_2 = \sum i^2 - \sum y_i^2$

ตอนนี้สำหรับการหาตัวเลขที่หายไปคุณควรจะแก้เพื่อค้นหาทุกxฉัน$(1)$$x_i$

คุณสามารถคำนวณ:

, P 2 = ∑ x i$P_1 = \sum x_i$ , ... , P k = ∏ x i ( 2 $P_2 = \sum x_i\cdot x_j$$P_k = \prod x_i$ $(2)$ )

สำหรับสิ่งนี้โปรดจำไว้ว่า , P 2 = S 2 1 - S $P_1 = S_1$$P_2 = \frac{S_1^2 - S_2}{2}$ , ...

แต่คือสัมประสิทธิ์ของP = ( x - x 1 ) ⋅ ( x - x 2 ) ⋯ ( x - x k )แต่Pสามารถแยกตัวประกอบได้อย่างไม่ซ้ำใครดังนั้นคุณสามารถหาตัวเลขที่หายไปได้$P_i$$P=(x-x_1)\cdot (x-x_2) \cdots (x-x_k)$$P$

นี่ไม่ใช่ความคิดของฉัน อ่านนี้

จากความคิดเห็นด้านบน:

ก่อนประมวลผลสตรีมจัดสรรบิตซึ่งคุณเขียนx : = ⨁ n ฉัน= 1ขฉันn ( i ) ( b ฉันn ( i )คือการแทนเลขฐานสองของiและ⊕เป็นค่าเฉพาะจุด - หรือ). อย่างไร้เดียงสานี่ใช้O ( n $\lceil \log_2 n \rceil$$x:= \bigoplus_{i=1}^n \mathrm{bin}(i)$$\mathrm{bin}(i)$$i$$\oplus$$\mathcal{O}(n)$เวลา

Upon processing the stream, whenever one reads a number $j$, compute $x := x \oplus \mathrm{bin}(j)$. Let $k$ be the single number from $\{ 1, ... n\}$ that is not included in the stream. After having read the whole stream, we have

Hence, we used $\mathcal{O}(\log n)$ space, and have an overall runtime of $\mathcal{O}(n)$.

HdM's solution works. I coded it in C++ to test it. I can't limit the value to $O(\log_2 n)$ bits, but I'm sure you can easily show how only that number of bits is actually set.

For those that want pseudo code, using a simple $\text{fold}$ operation with exclusive or ($\oplus$):

Hand-wavey proof: A $\oplus$ never requires more bits than its input, so it follows that no intermediate result in the above requires more than the maximum bits of the input (so $O(\log_2 n)$ bits). $\oplus$ is commutative, and $x \oplus x = 0$, thus if you expand the above and pair off all data present in the stream you'll be left only with a single un-matched value, the missing number.

#include <iostream>
#include <vector>
#include <cstdlib>
#include <algorithm>

using namespace std;

void find_missing( int const * stream, int len );

int main( int argc, char ** argv )
{
    if( argc < 2 )
    {
        cerr << "Syntax: " << argv[0] << " N" << endl;
        return 1;
    }
    int n = atoi( argv[1] );

    //construct sequence
    vector<int> seq;
    for( int i=1; i <= n; ++i )
        seq.push_back( i );

    //remove a number and remember it
    srand( unsigned(time(0)) );
    int remove = (rand() % n) + 1;
    seq.erase( seq.begin() + (remove - 1) );
    cout << "Removed: " << remove << endl;

    //give the stream a random order
    std::random_shuffle( seq.begin(), seq.end() );

    find_missing( &seq[0], int(seq.size()) );
}

//HdM's solution
void find_missing( int const * stream, int len )
{
    //create initial value of n sequence xor'ed (n == len+1)
    int value = 0;
    for( int i=0; i < (len+1); ++i )
        value = value ^ (i+1);

    //xor all items in stream
    for( int i=0; i < len; ++i, ++stream )
        value = value ^ *stream;

    //what's left is the missing number
    cout << "Found: " << value << endl;
}