?

Log in

No account? Create an account
 
 
17 April 2015 @ 07:01 pm
ElasticSearch hosting games  
We moved our ElasticSearch job percolation functionality from Windows server to ElasticSearch cluster on two Linux VPS-es (3GB RAM + 2GB RAM).
Percolation performance improved at a fraction of hosting price (relative to price of dedicated Windows server).
The most important benefit is that we can increase percolation performance just by adding more nodes to our ElasticSearch cluster.
Performance of individual percolation query on ElasticSearch cluster is about the same as on single node, but adding more nodes to ES cluster allows to execute more queries in parallel.
From our experimentation we determined that optimal number of percolation queues on 2-node cluster (2 CPU cores on each node) is ... drum-roll ... 4 (1 for each CPU core).

That configuration allows us to percolate up to 216 jobs per minute.

Q: What is ElasticSearch percolation?
You may create a job search alert.
PostJobFree will put your alert alongside with 160K+ other users' job alerts into ElasticSearch job percolation index.
Then every time when we get a new job - we percolate that job against 160K records in job percolation.
If job matches your (or anyone else's) job alert, then ElasticSearch percolator returns IDs or all these alerts, so we know to send you email about new match.

Q: Why host ElasticSearch on Linux?
Windows version of ElasticSearch does not support mlockall setting. That means there is no good way to prevent ElasticSearch from using swap-file.
 
 
 
журнал закрытjuan_gandhi on April 17th, 2015 11:15 pm (UTC)
Классно.
От венды вред один. И стоит дорого.
Dennis Gorelikdennisgorelik on April 17th, 2015 11:35 pm (UTC)
Ещё бы SQL Server перевести на Linux, но увы:
---
http://www.easysoft.com/support/kb/kb01035.html
Can I install SQL Server on Linux and UNIX platforms?

No, SQL Server is only available for Windows platforms.
---
fatofffatoff on April 18th, 2015 03:47 am (UTC)
В конторе, у которой одно на Windows, другое на Linux, и без первого точно не сделать ничего (сущность бизнеса, что-то под Windows Server обязательно, или нечего раздавать на клиенты на всех платформах), а второе в основном по выбору разработчиков-любителей (ибо можно было и под Windows собственный сервер сделать). В самый раз повыёбываться, и сказать им, знаете, Windows ваша - говно. :)
Dennis Gorelikdennisgorelik on April 18th, 2015 03:50 am (UTC)
> нечего раздавать на клиенты на всех платформах

Что это означает?

У Windows утомляют постоянные updates.
И с серверными tools немного слабовато.

А так-то неплохая платформа.
Clean and soberanspa on April 18th, 2015 07:24 am (UTC)
Дрянь а не платформа. Вот тема этой недели - после конфигурации банальной Hyper V networking в последних 2008 R2 и 2012 серверах падает коннект основного сетевого адаптера. Причем, иногда херится при конфигурации иногда через час использования, в разных вариантах (bridge & NAT). Задолбало. Не могут даже софт свитч нормально написать, козлы. Извиняюсь, наболело.
fatofffatoff on April 18th, 2015 03:10 pm (UTC)
Что это означает?
Реально большинство используемых корпоративных приложений "толстый клиент" (не Web) - под Windows. Что есть, то есть. Один Microsoft Office чего стоит. И Office 365 вебовский таки не всегда его заменит. Да, и я в том числе пишу время от времени приложения и для других платформ. Тем лучше видна ситуация.

Удалённо корпоративные приложения "толстый клиент" "раздают" через протокол RDP. Никакая другая серверная платформа такой роскоши не предоставляет, как сервер, чтобы захостить на нём сколько угодно полноценных GUI приложений, и предоставить клиенту возможность на них работать на удалённом компьютере. То есть, под Mac OS или даже iOS и Android клиенты RDP тоже есть, а сервер всегда Windows Server в этой композиции.

Мы создали некоторый управляющий центр для корпоративных RDP и Web приложений. Активация пользователя с доступом к множественным ресурсам корпорации в соответствии с их полиси достигается буквально подтверждением email пользователя. И весь процесс установки корпоративного клиента может занять менее минуты, соответственно. Никаких тебе сисадминов, настраивающих хосты и VPN, и ковыряющихся в записях индивидуальных привиллегий. Вот этот управляющий центр работает на Linux сервере. Но почему бы его нельзя было сделать под Windows, тоже?

И так, реальность такова, Linux тоже хороший, а без Windows в конкретном бизнесе, обслуживающем очень большие бизнесы никуда.

* Когда-то это всё начал Citrix, все эти решения по массовой виртуализации и удалённом доступу, потом VMWare, если что-то говорит. Но их решения не столь просты и дороги для пользователя. *
Re: Что это означает? - dennisgorelik on April 18th, 2015 07:30 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 18th, 2015 09:10 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 18th, 2015 10:48 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 07:05 am (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 07:20 am (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 07:30 am (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 03:28 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 05:19 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 05:29 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 05:34 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:06 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:32 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 05:54 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:02 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:20 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:29 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:33 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:39 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:52 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 07:24 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 06:52 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 07:20 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 07:55 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 10:47 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 20th, 2015 12:37 am (UTC) (Expand)
Clean and soberanspa on April 18th, 2015 07:20 am (UTC)
Денис, пока я не забыл. К твоему существующем серверу рассмотри:

Изменить RDP порт на другой, неизвестный публике.

Устроить VPN, вместо дырок в firewall. Это довольно просто делается даже средствами Windows (сервера и клиента) - PPTP. Не фонтан, но лучше чем софтверный файрвол к которому любой может долбиться.
Dennis Gorelikdennisgorelik on April 18th, 2015 09:00 am (UTC)
> Изменить RDP порт на другой, неизвестный публике.
> Устроить VPN, вместо дырок в firewall.

Это всё к Windows?

Если настроить VPN - надо же логиниться дважды (сначала в VPN, а потом к самому серверу), так?
fatofffatoff on April 18th, 2015 03:13 pm (UTC)
Это у нас называется single sign-on. Тебе линк выслал.
Clean and soberanspa on April 18th, 2015 05:14 pm (UTC)
А я тоже хочу линк на single sign-on. =) Можно поделиться?
(no subject) - fatoff on April 18th, 2015 09:17 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 03:27 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 04:34 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 06:55 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 07:20 pm (UTC) (Expand)
Dennis Gorelikdennisgorelik on April 18th, 2015 07:05 pm (UTC)
А почему не публично?
Демо пока что приватное?
(no subject) - fatoff on April 18th, 2015 09:15 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 18th, 2015 10:54 pm (UTC) (Expand)
Clean and soberanspa on April 18th, 2015 05:19 pm (UTC)
Да, все в Windows. Remote Access server role. На клиентском PC - wizard "Add connection to work". По идее никакого дополнительного софта даже не надо ставить, разве что только remote access часть на сервере с виндового диска.
Dennis Gorelikdennisgorelik on April 18th, 2015 07:32 pm (UTC)
Чем VPN лучше дырки в firewall?
В чём принципиальная разница между сложностью взлома VPN и сложностью взлома RDC?
fatofffatoff on April 19th, 2015 07:10 am (UTC)
VPN создаёт иллюзию присутствия в локальной сети предприятия. Удобство общей адресации корпоративных ресурсов, как-то http://hr-site или rdp://corp-dev. VPN бывают очень sophisticated, а не дырка в "мир" с одним и тем же незащищённым портом, через который компутер смотрит в мир. До VPN как правило идёт secure traffic, так что внутри удалённого компутера можно раздавать обычные несекьюрные приложения локальной сети предприятя.
Dennis Gorelikdennisgorelik on April 19th, 2015 07:25 am (UTC)
> VPN бывают очень sophisticated, а не дырка в "мир" с одним и тем же незащищённым портом

Можешь привести интересный пример "sophisticated VPN"?

> что внутри удалённого компутера можно раздавать обычные несекьюрные приложения локальной сети предприятя

Сложно ли объединить Linux и Windows машины в одну сеть?
(no subject) - fatoff on April 19th, 2015 07:36 am (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 08:10 am (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 04:31 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 05:24 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 05:29 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 05:59 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 06:04 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 03:32 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 05:50 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 07:03 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 07:23 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 07:53 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 10:42 pm (UTC) (Expand)
(no subject) - anspa on April 20th, 2015 12:38 am (UTC) (Expand)
(no subject) - dennisgorelik on April 20th, 2015 11:03 am (UTC) (Expand)