?

Log in

No account? Create an account
 
 
17 April 2015 @ 07:01 pm
ElasticSearch hosting games  
We moved our ElasticSearch job percolation functionality from Windows server to ElasticSearch cluster on two Linux VPS-es (3GB RAM + 2GB RAM).
Percolation performance improved at a fraction of hosting price (relative to price of dedicated Windows server).
The most important benefit is that we can increase percolation performance just by adding more nodes to our ElasticSearch cluster.
Performance of individual percolation query on ElasticSearch cluster is about the same as on single node, but adding more nodes to ES cluster allows to execute more queries in parallel.
From our experimentation we determined that optimal number of percolation queues on 2-node cluster (2 CPU cores on each node) is ... drum-roll ... 4 (1 for each CPU core).

That configuration allows us to percolate up to 216 jobs per minute.

Q: What is ElasticSearch percolation?
You may create a job search alert.
PostJobFree will put your alert alongside with 160K+ other users' job alerts into ElasticSearch job percolation index.
Then every time when we get a new job - we percolate that job against 160K records in job percolation.
If job matches your (or anyone else's) job alert, then ElasticSearch percolator returns IDs or all these alerts, so we know to send you email about new match.

Q: Why host ElasticSearch on Linux?
Windows version of ElasticSearch does not support mlockall setting. That means there is no good way to prevent ElasticSearch from using swap-file.
 
 
 
журнал закрытjuan_gandhi on April 17th, 2015 11:15 pm (UTC)
Классно.
От венды вред один. И стоит дорого.
Dennis Gorelikdennisgorelik on April 17th, 2015 11:35 pm (UTC)
Ещё бы SQL Server перевести на Linux, но увы:
---
http://www.easysoft.com/support/kb/kb01035.html
Can I install SQL Server on Linux and UNIX platforms?

No, SQL Server is only available for Windows platforms.
---
fatofffatoff on April 18th, 2015 03:47 am (UTC)
В конторе, у которой одно на Windows, другое на Linux, и без первого точно не сделать ничего (сущность бизнеса, что-то под Windows Server обязательно, или нечего раздавать на клиенты на всех платформах), а второе в основном по выбору разработчиков-любителей (ибо можно было и под Windows собственный сервер сделать). В самый раз повыёбываться, и сказать им, знаете, Windows ваша - говно. :)
Dennis Gorelikdennisgorelik on April 18th, 2015 03:50 am (UTC)
> нечего раздавать на клиенты на всех платформах

Что это означает?

У Windows утомляют постоянные updates.
И с серверными tools немного слабовато.

А так-то неплохая платформа.
Clean and soberanspa on April 18th, 2015 07:24 am (UTC)
Дрянь а не платформа. Вот тема этой недели - после конфигурации банальной Hyper V networking в последних 2008 R2 и 2012 серверах падает коннект основного сетевого адаптера. Причем, иногда херится при конфигурации иногда через час использования, в разных вариантах (bridge & NAT). Задолбало. Не могут даже софт свитч нормально написать, козлы. Извиняюсь, наболело.
fatofffatoff on April 18th, 2015 03:10 pm (UTC)
Что это означает?
Реально большинство используемых корпоративных приложений "толстый клиент" (не Web) - под Windows. Что есть, то есть. Один Microsoft Office чего стоит. И Office 365 вебовский таки не всегда его заменит. Да, и я в том числе пишу время от времени приложения и для других платформ. Тем лучше видна ситуация.

Удалённо корпоративные приложения "толстый клиент" "раздают" через протокол RDP. Никакая другая серверная платформа такой роскоши не предоставляет, как сервер, чтобы захостить на нём сколько угодно полноценных GUI приложений, и предоставить клиенту возможность на них работать на удалённом компьютере. То есть, под Mac OS или даже iOS и Android клиенты RDP тоже есть, а сервер всегда Windows Server в этой композиции.

Мы создали некоторый управляющий центр для корпоративных RDP и Web приложений. Активация пользователя с доступом к множественным ресурсам корпорации в соответствии с их полиси достигается буквально подтверждением email пользователя. И весь процесс установки корпоративного клиента может занять менее минуты, соответственно. Никаких тебе сисадминов, настраивающих хосты и VPN, и ковыряющихся в записях индивидуальных привиллегий. Вот этот управляющий центр работает на Linux сервере. Но почему бы его нельзя было сделать под Windows, тоже?

И так, реальность такова, Linux тоже хороший, а без Windows в конкретном бизнесе, обслуживающем очень большие бизнесы никуда.

* Когда-то это всё начал Citrix, все эти решения по массовой виртуализации и удалённом доступу, потом VMWare, если что-то говорит. Но их решения не столь просты и дороги для пользователя. *
Dennis Gorelikdennisgorelik on April 18th, 2015 07:30 pm (UTC)
Re: Что это означает?
> Никакая другая серверная платформа такой роскоши не предоставляет, как сервер, чтобы захостить на нём сколько угодно полноценных GUI приложений, и предоставить клиенту

Вот это неожиданно.
Что мешает создать полноценный Remote Desktop для Linux?

Да и пишут, что есть такое:
===
http://www.techradar.com/us/news/software/applications/7-of-the-best-linux-remote-desktop-clients-716346
Remmina
Great features, great performance – we don't know how it could be better.
===

А это пишут, что на Linux надо сначала поставить графический десктоп, так?
--------
http://www.linux.org/threads/rdp-into-your-linux-desktop.8/
Rob, Jan 15, 2012
You would need a gnome desktop for what? Not to rdp in..

Justin, Jan 25, 2012
You would need to install a Gnome desktop to do this, which can be done in Ubuntu, and most others.
--------
fatofffatoff on April 18th, 2015 09:10 pm (UTC)
Re: Что это означает?
Что мешает создать полноценный Remote Desktop для Linux?
Экономически нет большого смысла. Сильно больше приложений под Windows. А под Linux, если не консоль, то вроде как для "тормозов". Ну там есть и так SSH, что ещё благородному дону надо? А если простому офисному работнику? Вот то-то и оно. И как тебе написали, инфраструктура удалённого доступа решена очень удобно.
Dennis Gorelikdennisgorelik on April 18th, 2015 10:48 pm (UTC)
Re: Что это означает?
> Ну там есть и так SSH, что ещё благородному дону надо?

Вот и я также считаю.
Нам на серверах GUI консоль не нужна.

> А если простому офисному работнику?

Пусть на свой компьютер устанавливает.
Заодно и лага не будет.

Впрочем я вижу возможные сценарии использования десктопных приложений на Windows сервере.
Но это не наш случай. Во всяком случае, пока.
Re: Что это означает? - fatoff on April 19th, 2015 07:05 am (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 07:20 am (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 07:30 am (UTC) (Expand)
Clean and soberanspa on April 19th, 2015 03:28 pm (UTC)
Re: Что это означает?
А чем X Windows не remote desktop?
Re: Что это означает? - fatoff on April 19th, 2015 05:19 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 05:29 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 05:34 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:06 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:32 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 05:54 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:02 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:20 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:29 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:33 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 06:39 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 06:52 pm (UTC) (Expand)
Re: Что это означает? - fatoff on April 19th, 2015 07:24 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 06:52 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 07:20 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 19th, 2015 07:55 pm (UTC) (Expand)
Re: Что это означает? - dennisgorelik on April 19th, 2015 10:47 pm (UTC) (Expand)
Re: Что это означает? - anspa on April 20th, 2015 12:37 am (UTC) (Expand)
Clean and soberanspa on April 18th, 2015 07:20 am (UTC)
Денис, пока я не забыл. К твоему существующем серверу рассмотри:

Изменить RDP порт на другой, неизвестный публике.

Устроить VPN, вместо дырок в firewall. Это довольно просто делается даже средствами Windows (сервера и клиента) - PPTP. Не фонтан, но лучше чем софтверный файрвол к которому любой может долбиться.
Dennis Gorelikdennisgorelik on April 18th, 2015 09:00 am (UTC)
> Изменить RDP порт на другой, неизвестный публике.
> Устроить VPN, вместо дырок в firewall.

Это всё к Windows?

Если настроить VPN - надо же логиниться дважды (сначала в VPN, а потом к самому серверу), так?
fatofffatoff on April 18th, 2015 03:13 pm (UTC)
Это у нас называется single sign-on. Тебе линк выслал.
Clean and soberanspa on April 18th, 2015 05:14 pm (UTC)
А я тоже хочу линк на single sign-on. =) Можно поделиться?
fatofffatoff on April 18th, 2015 09:17 pm (UTC)
Выслал. В том решении порт даже не так просто найти. :)
Clean and soberanspa on April 19th, 2015 03:27 pm (UTC)
Очень извиняюсь, но решения я так и не видел.
(no subject) - fatoff on April 19th, 2015 04:34 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 06:55 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 07:20 pm (UTC) (Expand)
Dennis Gorelikdennisgorelik on April 18th, 2015 07:05 pm (UTC)
А почему не публично?
Демо пока что приватное?
fatofffatoff on April 18th, 2015 09:15 pm (UTC)
Да всё открытое. Просто из меня sales person никакой. Кодирую/частично дизайню один из клиентов для одной из платформ. У нас даже призывали вроде как, писать блог про работу, но, внимание, сначала показать одной умной тёте. Я так подумал, значит, можно и навредить если без подготовки. Как-то больше нравится о программировании поболтать, про Qt, сигналы-слоты, виджеты, веб-сокеты, чего только интересного в многоплатформенном программировании не бывает.
Dennis Gorelikdennisgorelik on April 18th, 2015 10:54 pm (UTC)
Уж ссылку-то дать можно и без предварительного разрешения.
А если совесть мучает - пошли тёте email на свой комментарий с этой ссылкой.
Пусть учится читать по-русски.

Открытое обсуждение - гораздо удобнее.
Clean and soberanspa on April 18th, 2015 05:19 pm (UTC)
Да, все в Windows. Remote Access server role. На клиентском PC - wizard "Add connection to work". По идее никакого дополнительного софта даже не надо ставить, разве что только remote access часть на сервере с виндового диска.
Dennis Gorelikdennisgorelik on April 18th, 2015 07:32 pm (UTC)
Чем VPN лучше дырки в firewall?
В чём принципиальная разница между сложностью взлома VPN и сложностью взлома RDC?
fatofffatoff on April 19th, 2015 07:10 am (UTC)
VPN создаёт иллюзию присутствия в локальной сети предприятия. Удобство общей адресации корпоративных ресурсов, как-то http://hr-site или rdp://corp-dev. VPN бывают очень sophisticated, а не дырка в "мир" с одним и тем же незащищённым портом, через который компутер смотрит в мир. До VPN как правило идёт secure traffic, так что внутри удалённого компутера можно раздавать обычные несекьюрные приложения локальной сети предприятя.
Dennis Gorelikdennisgorelik on April 19th, 2015 07:25 am (UTC)
> VPN бывают очень sophisticated, а не дырка в "мир" с одним и тем же незащищённым портом

Можешь привести интересный пример "sophisticated VPN"?

> что внутри удалённого компутера можно раздавать обычные несекьюрные приложения локальной сети предприятя

Сложно ли объединить Linux и Windows машины в одну сеть?
fatofffatoff on April 19th, 2015 07:36 am (UTC)
Sophisticated VPN, например, может выдавать и менять случайно выбраный outgoing порт периодически. Понятно, что приложение, слушающее VPN, должно уметь подобные фантазии ожидать, и отрабатывать. Это вроде нашей VPN со стороны клиента. Также VPN могут понимать, например, что лаптоп принесли из дома на работу и нет нужды в непрямом подключении к локальной уже достаточно защищённой сети.

Да, куча разных способов, зависит от того, что делать, для файлового обмена существует много лет софтина Samba, кажется.
(no subject) - dennisgorelik on April 19th, 2015 08:10 am (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 04:31 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 05:24 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 05:29 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 05:59 pm (UTC) (Expand)
(no subject) - fatoff on April 19th, 2015 06:04 pm (UTC) (Expand)
Clean and soberanspa on April 19th, 2015 03:32 pm (UTC)
Одно из хороших решений, которое пользуется популярностью и устойчиво ко взломам (по крайней мере по дизайну) называется IPSEC. Есть несколько его имплементаций от разных вендоров.
(no subject) - dennisgorelik on April 19th, 2015 05:50 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 07:03 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 07:23 pm (UTC) (Expand)
(no subject) - anspa on April 19th, 2015 07:53 pm (UTC) (Expand)
(no subject) - dennisgorelik on April 19th, 2015 10:42 pm (UTC) (Expand)
(no subject) - anspa on April 20th, 2015 12:38 am (UTC) (Expand)
(no subject) - dennisgorelik on April 20th, 2015 11:03 am (UTC) (Expand)