Commit 1a1e663d5199d324799f97f1faf6385ae860577c
extract and expose `feed.pull.unique` out of `feed.pull.rollup`
Matt McKegg committed on 12/4/2017, 5:40:31 AMParent: ba518865234ed63cae50900c6ee8404aa6686cfa
Files changed
| feed/pull/rollup.js | changed |
| feed/pull/unique.js | added |
| feed/pull/rollup.js | |||
|---|---|---|---|
| @@ -1,8 +1,4 @@ | |||
| 1 | -// read stream to get events | ||
| 2 | -// for each item, check to see if already rendered root | ||
| 3 | -// accept prioritized list (render these first) | ||
| 4 | - | ||
| 5 | 1 … | var pull = require('pull-stream') | |
| 6 | 2 … | var nest = require('depnest') | |
| 7 | 3 … | var HLRU = require('hashlru') | |
| 8 | 4 … | ||
| @@ -11,9 +7,10 @@ | |||
| 11 | 7 … | 'sbot.async.get': 'first', | |
| 12 | 8 … | 'message.sync.isBlocked': 'first', | |
| 13 | 9 … | 'message.sync.root': 'first', | |
| 14 | 10 … | 'message.sync.unbox': 'first', | |
| 15 | - 'feed.pull.withReplies': 'first' | ||
| 11 … | + 'feed.pull.withReplies': 'first', | ||
| 12 … | + 'feed.pull.unique': 'first' | ||
| 16 | 13 … | }) | |
| 17 | 14 … | ||
| 18 | 15 … | exports.gives = nest('feed.pull.rollup', true) | |
| 19 | 16 … | ||
| @@ -22,9 +19,8 @@ | |||
| 22 | 19 … | // not really big enough for multiple refresh cycles | |
| 23 | 20 … | var cache = HLRU(100) | |
| 24 | 21 … | ||
| 25 | 22 … | return nest('feed.pull.rollup', function (rootFilter) { | |
| 26 | - var seen = new Set() | ||
| 27 | 23 … | return pull( | |
| 28 | 24 … | pull.map(msg => { | |
| 29 | 25 … | if (msg.value) { | |
| 30 | 26 … | var root = api.message.sync.root(msg) | |
| @@ -37,20 +33,9 @@ | |||
| 37 | 33 … | } | |
| 38 | 34 … | }), | |
| 39 | 35 … | ||
| 40 | 36 … | // UNIQUE | |
| 41 | - pull.filter(idOrMsg => { | ||
| 42 | - if (idOrMsg) { | ||
| 43 | - if (idOrMsg.key) idOrMsg = idOrMsg.key | ||
| 44 | - if (typeof idOrMsg === 'string') { | ||
| 45 | - var key = idOrMsg | ||
| 46 | - if (!seen.has(key)) { | ||
| 47 | - seen.add(key) | ||
| 48 | - return true | ||
| 49 | - } | ||
| 50 | - } | ||
| 51 | - } | ||
| 52 | - }), | ||
| 37 … | + api.feed.pull.unique(), | ||
| 53 | 38 … | ||
| 54 | 39 … | // LOOKUP (if needed) | |
| 55 | 40 … | pull.asyncMap((keyOrMsg, cb) => { | |
| 56 | 41 … | if (keyOrMsg.value) { | |
| feed/pull/unique.js | ||
|---|---|---|
| @@ -1,0 +1,31 @@ | ||
| 1 … | +var pull = require('pull-stream') | |
| 2 … | +var nest = require('depnest') | |
| 3 … | + | |
| 4 … | +exports.needs = nest({ | |
| 5 … | + 'backlinks.obs.for': 'first', | |
| 6 … | + 'sbot.async.get': 'first', | |
| 7 … | + 'message.sync.isBlocked': 'first', | |
| 8 … | + 'message.sync.root': 'first', | |
| 9 … | + 'message.sync.unbox': 'first', | |
| 10 … | + 'feed.pull.withReplies': 'first' | |
| 11 … | +}) | |
| 12 … | + | |
| 13 … | +exports.gives = nest('feed.pull.unique', true) | |
| 14 … | + | |
| 15 … | +exports.create = function (api) { | |
| 16 … | + return nest('feed.pull.unique', function (rootFilter) { | |
| 17 … | + var seen = new Set() | |
| 18 … | + return pull.filter(idOrMsg => { | |
| 19 … | + if (idOrMsg) { | |
| 20 … | + if (idOrMsg.key) idOrMsg = idOrMsg.key | |
| 21 … | + if (typeof idOrMsg === 'string') { | |
| 22 … | + var key = idOrMsg | |
| 23 … | + if (!seen.has(key)) { | |
| 24 … | + seen.add(key) | |
| 25 … | + return true | |
| 26 … | + } | |
| 27 … | + } | |
| 28 … | + } | |
| 29 … | + }) | |
| 30 … | + }) | |
| 31 … | +} | |
Built with git-ssb-web